Kafka集群管理和監控方案之Kafka Manager

https://blog.frognew.com/2019/07/kafka-manager.html

 

1.Kafka監控方案簡介

前面我們已經在k8s上使用incubator/kafka chart部署了Kafka。本篇來聊聊kafka的管理和監控。 關於kafka的監控方案有很多:

• Confluent Control Center是Confluent Kafka提供的監控和管理方案，但Confluent Control Center只能在CP Kafka收費的企業版中使用。
• Kafka Offset Monitor是開源的監控方案，如果監控單個Kafka集群可以選擇Kafka Offset Monitor，但從Kafka Offset Monitor的源碼來看已經很久沒有維護了
• Prometheus + kafka-prometheus-jmx-exporter的監控方案，這個也是incubator/kafka中支持的監控方案，默認使用helm部署kafka是沒有開啟，可通過prometheus.kafka.enabled開啟，這里先不開啟，准備在之后的內容中介紹Prometheus + kafka-prometheus-jmx-exporter
• Kafka Manager可以用來管理和監控多個Kafka集群，本篇將介紹Kafka Manager。

2.使用Helm部署Kafka Manager

Helm的官方repo中已經提供了Kafka Manager的Chart。

創建kafka-manager-values.yaml：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

image: repository: zenko/kafka-manager tag: 1.3.3.22 zkHosts: kafka-zookeeper:2181 basicAuth: enabled: true username: admin password: admin ingress: enabled: true hosts: - kafka.frognew.com tls: - secretName: frognew-com-tls-secret hosts: - kafka.frognew.com

使用helm部署kafka-manager：

1	helm install --name kafka-manager --namespace kafka -f kafka-manager-values.yaml stable/kafka-manager

安裝完成后，確認kafka-manager的Pod已經正常啟動：

1 2 3

kubectl get pod -n kafka -l app=kafka-manager NAME READY STATUS RESTARTS AGE kafka-manager-5d974b7844-bl7k4 1/1 Running 0 5m47s

使用https://kafka.frognew.com打開kafka-manager的頁面，將我們之前在k8s上部署的kafka集群以名稱為test，並配置Cluster Zookeeper Hosts為kafka-zookeeper:2181，即可將前面部署的kafka集群納入kafka-manager管理當中。

參考

• kafka manager helm chart