kafka에서 무결성(Durability) 보장을 위한 방안
Kafka는 데이터 무결성을 보장하기 위해 다양한 메커니즘을 사용합니다. 아래는 그 주요 방안들입니다.
최근 포스트
setup kafka KRaft
아래의 링크에 따라 kafka를 설치합니다.
How To Set Up a Multi-Node Kafka Cluster using KRaft
kafka node #1,2,3 별로 아래의 링크에 따라 kafka를 설치합니다.
setup kafka client for secured kafka
export CLIPASS=clientpass # Copy CA public key keytool -keystore kafka.client.truststore.jks -alias CARoot -import -file ca-cert -storepass $CLIPASS -keypass...
setup kerberos with zookeeper
vi config/zookeeper.properties
setup kerberos with kafka
kerberos error
setup ca for secured kafka
CA 인증서 생성 private key와 public key를 생성합니다. openssl req -new -newkey rsa:4096 -days 365 -x509 -subj "/CN=Kafka-Security-CA" -keyout ca-key -out ca-cert -nodes
Add jmx_prometheus_agent를 zookeeper service 에 추가
prometheus로 zookeeper를 모니터링하기 위한 설정을 합니다.
grafana 설치
kafka documentation for monitoring
Jolokia 설치
mkdir jolokia wget https://search.maven.org/remotecontent?filepath=org/jolokia/jolokia-agent-jvm/2.1.1/jolokia-agent-jvm-2.1.1-javaagent.jar
grafana 설치
get https://dl.grafana.com/oss/release/grafana-9.5.0.linux-amd64.tar.gz tar xvzf grafana-9.5.0.linux-amd64.tar.gz mv grafana-9.5.0.linux-amd64 grafana cp -rp...
setup prometheus and add jmx_prometheus_javaagent
kafka 모니터링을 위해 grafana/prometheus를 설치 및 구성합니다.
install LinkedIn kafka-monitor on linux
LinkedIn에서 제공하는 kafka-monitor를 설치하여 구성하여 kafka를 모니터링하는 것입니다. 고급 사용자는 ./bin/xinfra-monitor-start.sh config/xinfra-monitor.properties를 사용하여 Xinfra 모니터를 실행하는 ...
how to setup kafka-topic-ui to systemd
```ini [Unit] Description=Kafka Topic UI docker container After=docker.service Requires=docker.service kafka.service
install go lang and burrow on linux
go lang과 burrow를 설치합니다.