1.幾個kafka監控工具
Kafka Web Console:監控功能較為全面,可以預覽消息,監控Offset、Lag等信息,但存在bug,不建議在生產環境中使用。
Kafka Manager:偏向Kafka集群管理,若操作不當,容易導致集群出現故障。對Kafka實時生產和消費消息是通過JMX實現的。沒有記錄Offset、Lag等信息。
KafkaOffsetMonitor:程序一個jar包的形式運行,部署較為方便。只有監控功能,使用起來也較為安全。
若只需要監控功能,推薦使用KafkaOffsetMonito,若偏重Kafka集群管理,推薦使用Kafka Manager。
因為都是開源程序,穩定性欠缺。故需先了解清楚目前已存在哪些Bug,多測試一下,避免出現類似於Kafka Web Console的問題。
小結鏈接:http://blog.csdn.net/chuntian_feng/article/details/51871648
2.kafka-manager簡介
發現分布在集群中的哪些topic分布不均勻,或者是分區在整個集群分布不均勻的的情況。支持管理多個集群、選擇副本、副本重新分配以及創建Topic。快速瀏覽kafka集群
功能:
1.管理多個kafka集群
2.便捷的檢查kafka集群狀態(topics,brokers,備份分布情況,分區分布情況)
3.選擇你要運行的副本
4.基於當前分區狀況進行
5.可以選擇topic配置並創建topic(0.8.1.1和0.8.2的配置不同)
6.刪除topic(只支持0.8.2以上的版本並且要在broker配置中設置delete.topic.enable=true)
7.Topic list會指明哪些topic被刪除(在0.8.2以上版本適用)
8.為已存在的topic增加分區
9.為已存在的topic更新配置
10.在多個topic上批量重分區
11.在多個topic上批量重分區(可選partition broker位置)
3.kafka-manager 項目地址:
https://github.com/yahoo/kafka-manager
4.安裝
a.官方的Requirements
本次試驗環境:kafka_2.11-0.10.1.0 , jdk-1.8.0_121 , zookeeper-3.4.10
b.java8環境配置,zookeeper&kafka集群配置在此不贅述
kafka-manager安裝:
git clone https://github.com/yahoo/kafka-manager.git cd kafka-manager ./sbt clean dist #編譯過程漫長,耐心等待
kafka-manager/target/universal目錄下會生成zip包

解壓:
unzip kafka-manager-1.3.3.7.zip -d /usr/local cd /usr/local/kafka-manager-1.3.3.7
修改配置文件:
修改配置文件application.conf: 修改 kafka-manager.zkhosts="192.168.1.160:2181" 這行
啟動kafka-manager:
#kafka-manager 默認的端口是9000,可通過 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件: nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000 &
web訪問:
ip:9000
下圖是添加了2個zk集群

5.web設置
1.jmx port 和 metrics顯示設置

上圖metrics無顯示信息解決方法:
export JMX_PORT=9001
重啟kafka:
JMX_PORT=9001 bin/kafka-server-start.sh config/server.properties
或者修改kafka的kafka-server-start.sh文件,添加JMX_PORT項,如下圖:
然后重啟kafka。

3. 如果沒有安裝補丁,不要勾選Display Broker and Topic Size
