Learn Apache Kafka
confluent 에서 아파치 카프카 강의
최근 포스트
bitnami로 zookeeper 없는 kafka 설치
아파치 카프카 래프트(KRaft)는 메타데이터 관리를 위해 ZooKeeper에 대한 아파치 카프카의 의존성을 제거하기 위해 도입된 합의 프로토콜입니다. 이것은 메타데이터에 대한 책임을 두 개의 다른 시스템으로 나누는 대신 Kafka 자체로 통합함으로써 Kafka의 아키텍처를 크게 ...
filebeat 설치하기
To add the Beats repository for YUM:
Kafka Producer JMX exporter 사용하기
참조 Kafka Producer JMX exporter 사용하기
logstash-plugin install logstash-input-jmx
Collecting metrics is critical for understanding the health and performance of your Kafka deployment. By monitoring metrics, you can actively identify issues...
Integrating metricbeat with Apache Kafka
참조 Apache Kafka Monitoring with Elasticsearch, Beats, and Kibana
kafka cluster 관리 UI 툴 KafDrop
카프드롭은 카프카 토픽을 보고 소비자 그룹을 검색할 수 있는 웹 UI입니다. 이 도구는 브로커, 토픽, 파티션, 소비자 등의 정보를 표시하고 메시지를 볼 수 있도록 해줍니다.
Adding entries to Pod /etc/hosts with HostAliases
kubernetes pod에서 legacy ip를 hostname으로 alias로 지정하기 위한 설정입니다.
kafka 성능 metrics 모니터링
아키텍처 개요 자세히 알아보기 전에 Kafka 배포의 일반적인 아키텍처를 이해하는 것이 중요합니다. 모든 배포는 아래 그림과 같은 구성 요소로 이루어져 있습니다:
Add support for helm parameter maps for extraConfig using bitnami
bitnami/kafka 28.1.1
Install InfluxDB using Docker Compose
# compose.yaml services: influxdb2: image: influxdb:2 ports: - 8086:8086 environment: DOCKER_INFLUXDB_INIT_MODE: setup DOCKER...
Kafka 접속을 위한 JMX 설정
카프카 모니터링은 카프카 배포의 최적화를 위해 사용되는 중요하고 광범위한 작업입니다. 이 프로세스는 직접 구축하는 대신 기존 모니터링 솔루션 중 하나를 적용하면 원활하고 효율적으로 수행할 수 있습니다. 프로젝트 클러스터에서 메시지 전송 및 처리를 위해 Apache Kafka와 함께...
Kafka 접속을 위한 JMX 설정
Configuring JMX Access for Kafka
db2
```yaml version: “3.1”