본문 바로가기

Dev24

Kafka Monitoring Tool - Kafka Offset Monitor Kafka Offset Monitor This is an app to monitor your kafka consumers and their position (offset) in the queue. You can see the current consumer groups, for each group the topics that they are consuming and the position of the group in each topic queue. This is useful to understand how quick you are consuming from a queue and how fast the queue is growing. It allows for debuging kafka producers an.. 2019. 12. 26.
Kafka 용어 정리 Kafka Pub-Sub 모델의 MQ(메시지 큐)이며, 분산 환경에 특화되어 있다. LinkedIn에서 개발된 분산 메시징 시스템으로 2011년에 오픈소스로 공개되었다. Pub-Sub 모델 Publish-Subscribe Message를 전송자가 바로 수신자에게 보내지 않고, 전송자(=발행자/Publish)가 어떤 형태로든 Message를 구분하여 Publish-Subscribe 시스템에 전송하면 수신자(=구독자/Subscribe)가 특정 부류의 Message를 구독할 수 있게 해 준다. 이때 발행된 Message를 저장하고 중계하는 역할을 브로커(broker)가 수행한다. Message Kafka에서는 데이터의 기본 단위를 Message라고 한다. DB에서의 row 또는 record에 비유될 수 있다... 2019. 12. 25.
[Gradle/Windows] Caused by: java.io.IOException: CreateProcess error=206, 파일 이름이나 확장명이 너무 깁니다. Windows 환경에서 bootRun 실행 시 아래와 같은 오류가 발생할 수 있다. Caused by: java.io.IOException: Cannot run program "C:\Program Files\Java\jdk1.8.0_201\bin\java.exe" (in directory "D:\dev\rhea\safe\fds"): CreateProcess error=206, 파일 이름이나 확장명이 너무 깁니다 at net.rubygrapefruit.platform.internal.DefaultProcessLauncher.start(DefaultProcessLauncher.java:25) ... 8 more Caused by: java.io.IOException: CreateProcess error=20.. 2019. 11. 20.
Kafka 외부 접속 허용하기 $ vi conf/server.properties conf/server.properties가 Kafka의 설정을 담당하는 파일이다. # Hostname and port the broker will advertise to producers and consumers. If not set, # it uses the value for "listeners" if configured. Otherwise, it will use the value # returned from java.net.InetAddress.getCanonicalHostName(). #advertised.listeners=PLAINTEXT://your.host.name:9092 여기에서 마지막 줄의 주석을 풀고 advertised.listeners.. 2019. 10. 7.