Dev/Kafka6 Kafka retention 옵션 - log 보관 주기 설정 Kafka log(Message Data)의 보관은 크게 시간단위, 용량단위로 지정할 수 있다. 만약 아무런 옵션을 수정하지 않고 Kafka를 실행하였다면 기본적으로 7일로 지정된 상태이다. - 저장한지 7일이 지난 로그는 삭제된다. log 보관주기에 대한 설정은 $KAFKA_HOME/config/server.properties에 있으며 아래와 같은 기본값을 가진다. ############################# Log Retention Policy ############################# # The following configurations control the disposal of log segments. The policy can # be set to delete segment.. 2020. 12. 2. Kafka topic 삭제 - already marked for deletion 해결 토픽을 삭제하기 위해서는 우선 $KAFKA_HOME/config/server.properties에 delete.topic.enable 설정을 추가한 후 카프카를 재기동해야한다. delete.topic.enable = true 만약 이 설정을 추가하지 않은 상태에서 일반적으로 알려진 토픽 삭제 방법인 kafka-topics.sh을 이용해서 토픽을 삭제하면 아래와 같이 already marked for deletion이라는 메시지만 나타나고 정상적으로 삭제가 안 된다. 이 경우 다시 토픽을 생성할 수도 없으며 해당 토픽으로 들어온 메시지도 처리가 안 된다. $ ./kafka-topics.sh --delete --zookeeper $ZOOKEEPER --topic morpheme.t Topic morpheme.. 2020. 6. 11. Kafka 2.1 이상에서 Kafka Offset Monitor 사용하기 - Unknown offset schema version 3 해결 2019-12-19 14:52:58 ERROR KafkaOffsetGetter$:103 - The message was malformed and does not conform to a type of (BaseKey, OffsetAndMetadata. Ignoring this message. kafka.common.KafkaException: Unknown offset schema version 3 at kafka.coordinator.GroupMetadataManager$.schemaForOffset(GroupMetadataManager.scala:739) at kafka.coordinator.GroupMetadataManager$.readOffsetMessageValue(GroupMetadataMana.. 2019. 12. 26. Kafka Monitoring Tool - Kafka Offset Monitor Kafka Offset Monitor This is an app to monitor your kafka consumers and their position (offset) in the queue. You can see the current consumer groups, for each group the topics that they are consuming and the position of the group in each topic queue. This is useful to understand how quick you are consuming from a queue and how fast the queue is growing. It allows for debuging kafka producers an.. 2019. 12. 26. 이전 1 2 다음
