kafka監控工具kafka-manager


1.幾個kafka監控工具

Kafka Web Console:監控功能較為全面,可以預覽消息,監控Offset、Lag等信息,但存在bug,不建議在生產環境中使用。

Kafka Manager:偏向Kafka集群管理,若操作不當,容易導致集群出現故障。對Kafka實時生產和消費消息是通過JMX實現的。沒有記錄Offset、Lag等信息。

KafkaOffsetMonitor:程序一個jar包的形式運行,部署較為方便。只有監控功能,使用起來也較為安全。

若只需要監控功能,推薦使用KafkaOffsetMonito,若偏重Kafka集群管理,推薦使用Kafka Manager。

因為都是開源程序,穩定性欠缺。故需先了解清楚目前已存在哪些Bug,多測試一下,避免出現類似於Kafka Web Console的問題。

小結鏈接:http://blog.csdn.net/chuntian_feng/article/details/51871648

2.kafka-manager簡介

發現分布在集群中的哪些topic分布不均勻,或者是分區在整個集群分布不均勻的的情況。支持管理多個集群、選擇副本、副本重新分配以及創建Topic。快速瀏覽kafka集群

功能:

1.管理多個kafka集群
2.便捷的檢查kafka集群狀態(topics,brokers,備份分布情況,分區分布情況)
3.選擇你要運行的副本
4.基於當前分區狀況進行
5.可以選擇topic配置並創建topic(0.8.1.1和0.8.2的配置不同)
6.刪除topic(只支持0.8.2以上的版本並且要在broker配置中設置delete.topic.enable=true)
7.Topic list會指明哪些topic被刪除(在0.8.2以上版本適用)
8.為已存在的topic增加分區
9.為已存在的topic更新配置
10.在多個topic上批量重分區
11.在多個topic上批量重分區(可選partition broker位置)

3.kafka-manager 項目地址:

https://github.com/yahoo/kafka-manager

4.安裝

a.官方的Requirements

  1. Kafka 0.8.1.1 or 0.8.2.* or 0.9.0.* or 0.10.0.*
  2. Java 8+

 本次試驗環境:kafka_2.11-0.10.1.0 , jdk-1.8.0_121 , zookeeper-3.4.10

b.java8環境配置,zookeeper&kafka集群配置在此不贅述

  kafka-manager安裝:

git clone https://github.com/yahoo/kafka-manager.git
cd kafka-manager
./sbt clean dist    #編譯過程漫長,耐心等待

kafka-manager/target/universal目錄下會生成zip包

 

解壓:

unzip kafka-manager-1.3.3.7.zip -d /usr/local
cd /usr/local/kafka-manager-1.3.3.7

修改配置文件:

修改配置文件application.conf:

修改 kafka-manager.zkhosts="192.168.1.160:2181" 這行

啟動kafka-manager:

#kafka-manager 默認的端口是9000,可通過 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000 &

web訪問:

ip:9000

下圖是添加了2個zk集群

 

 5.web設置

1.jmx port 和 metrics顯示設置

 

上圖metrics無顯示信息解決方法:

 

設置JMX_PORT:

 export JMX_PORT=9001

重啟kafka:

JMX_PORT=9001 bin/kafka-server-start.sh config/server.properties

 

或者修改kafka的kafka-server-start.sh文件,添加JMX_PORT項,如下圖:

然后重啟kafka。

 

 
2.不要勾選JMX with SSL

3. 如果沒有安裝補丁,不要勾選Display Broker and Topic Size

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM