Kafka 에서 snapshot vs log
Kafka에서 스냅샷(snapshot)과 로그(log)는 데이터 저장과 복구와 관련된 중요한 개념입니다. 이 두 개념은 Kafka 클러스터의 일관성을 유지하고 장애 복구를 효율적으로 처리하기 위한 메커니즘입니다. 각각의 기능과 차이점을 아래에서 설명합니다.
최근 포스트
setup kafka topic properties
log.retention.ms, log.retention.minutes, log.retention.hours 기본값: log.retention.hours: 168시간 (즉, 7일)
setup acl with kafka
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer super.users=User:admin;User:kafka allow.everyone.if.no.acl.found=false security.inter.broker.pr...
setting kafka producer
Kafka Producer의 설정값에 대한 설명입니다.
setting kafka consumer
fetch.min.bytes fetch.min.bytes는 소비자가 서버에서 데이터를 가져올 때 한 번에 수신하려는 최소 데이터 크기(바이트 단위)를 정의하는 설정입니다. 즉, 이 값보다 적은 데이터를 서버로부터 받지 않겠다는 의미입니다. Kafka는 소비자가 요청한 최소 데이터 ...
kafka에서 무결성(Durability) 보장을 위한 방안
Kafka는 데이터 무결성을 보장하기 위해 다양한 메커니즘을 사용합니다. 아래는 그 주요 방안들입니다.
setup kafka KRaft
아래의 링크에 따라 kafka를 설치합니다.
How To Set Up a Multi-Node Kafka Cluster using KRaft
kafka node #1,2,3 별로 아래의 링크에 따라 kafka를 설치합니다.
setup kafka client for secured kafka
export CLIPASS=clientpass # Copy CA public key keytool -keystore kafka.client.truststore.jks -alias CARoot -import -file ca-cert -storepass $CLIPASS -keypass...
setup kerberos with zookeeper
vi config/zookeeper.properties
setup kerberos with kafka
kerberos error
setup ca for secured kafka
CA 인증서 생성 private key와 public key를 생성합니다. openssl req -new -newkey rsa:4096 -days 365 -x509 -subj "/CN=Kafka-Security-CA" -keyout ca-key -out ca-cert -nodes
Add jmx_prometheus_agent를 zookeeper service 에 추가
prometheus로 zookeeper를 모니터링하기 위한 설정을 합니다.
grafana 설치
kafka documentation for monitoring
Jolokia 설치
mkdir jolokia wget https://search.maven.org/remotecontent?filepath=org/jolokia/jolokia-agent-jvm/2.1.1/jolokia-agent-jvm-2.1.1-javaagent.jar