kafka mirrormaker 개요
Apache Kafka 클러스터 간 미러링 또는 복제 기술인 최신 버전의 MirrorMaker 2(MM2)에 대해 살펴봅니다. MirrorMaker 2는 안정성과 확장성을 높이기 위해 Kafka Connect 프레임워크 위에 구축되었으며 마이그레이션, 특수 목적 클러스터(예: 분석...
최근 포스트
kafka cluster를 관리를 위한 kafka-ui
Apache Kafka용 UI는 데이터 흐름을 관찰할 수 있게 해주고, 문제를 더 빨리 찾아서 해결하고, 최적의 성능을 제공하는 데 도움이 되는 간단한 도구입니다. 가벼운 대시보드를 통해 브로커, 토픽, 파티션, 프로덕션, 소비 등 Kafka 클러스터의 주요 메트릭을 쉽게 추적할 ...
kafka mirrormaker active-passive 방식 구성하기 데모
kafka mirrormaker2 active-passive 방식 구성에 대한 데모입니다.
Change Data Capture (CDC) with Kafka Connect
kafka connect를 이용하여 cdc를 구성하는 blog
pure java compile 방법
original 방식으로 java source를 컴파일하는 방법입니다.
Learn Apache Kafka
confluent 에서 아파치 카프카 강의
bitnami로 zookeeper 없는 kafka 설치
아파치 카프카 래프트(KRaft)는 메타데이터 관리를 위해 ZooKeeper에 대한 아파치 카프카의 의존성을 제거하기 위해 도입된 합의 프로토콜입니다. 이것은 메타데이터에 대한 책임을 두 개의 다른 시스템으로 나누는 대신 Kafka 자체로 통합함으로써 Kafka의 아키텍처를 크게 ...
filebeat 설치하기
To add the Beats repository for YUM:
Kafka Producer JMX exporter 사용하기
참조 Kafka Producer JMX exporter 사용하기
logstash-plugin install logstash-input-jmx
Collecting metrics is critical for understanding the health and performance of your Kafka deployment. By monitoring metrics, you can actively identify issues...
Integrating metricbeat with Apache Kafka
참조 Apache Kafka Monitoring with Elasticsearch, Beats, and Kibana
kafka cluster 관리 UI 툴 KafDrop
카프드롭은 카프카 토픽을 보고 소비자 그룹을 검색할 수 있는 웹 UI입니다. 이 도구는 브로커, 토픽, 파티션, 소비자 등의 정보를 표시하고 메시지를 볼 수 있도록 해줍니다.
Adding entries to Pod /etc/hosts with HostAliases
kubernetes pod에서 legacy ip를 hostname으로 alias로 지정하기 위한 설정입니다.
kafka 성능 metrics 모니터링
아키텍처 개요 자세히 알아보기 전에 Kafka 배포의 일반적인 아키텍처를 이해하는 것이 중요합니다. 모든 배포는 아래 그림과 같은 구성 요소로 이루어져 있습니다: