Kafka三種可視化監控管理工具monitor，manager，eagle

文章目錄

• 1.Kafka Monitor
• 2.Kafka Manager
• 2.1 部署
• 2.2 總結
• 3.Kafka Eagle

1.Kafka Monitor

下載鏈接： https://github.com/Morningstar/kafka-offset-monitor/releases/tag/0.4.6

1. 上傳jar包KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar到集群

2. 在/opt/module/下創建kafka-offset-console文件夾

3. 將上傳的jar包放入剛創建的目錄下

4. 在/opt/module/kafka-offset-console目錄下創建啟動腳本start_en.sh，內容如下：

   #!/bin/bash
   # 默認port為8086，由於我的環境8086端口已被占用，所有改為8087
   java -Xms512M -Xmx512M -Xss1024K -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=512m -cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar \
   com.quantifind.kafka.offsetapp.OffsetGetterWeb \
   --offsetStorage kafka \
   --kafkaBrokers cm1:9092,cm2:9092,cm3:9092 \
   --kafkaSecurityProtocol PLAINTEXT \
   --zk cm1:2181,cm2:2181,cm3:2181 \
   --port 8087 \
   --refresh 10.seconds \
   --retain 2.days \
   --dbName offsetapp_kafka 1>mobile-logs/stdout.log 2>mobile-logs/stderr.log &
   

5. 在/opt/module/kafka-offset-console目錄下創建mobile-logs文件夾

   mkdir /opt/module/kafka-offset-console/mobile-logs
   

6. 啟動KafkaMonitor

   ./start_en.sh
   

7. 登錄頁面cm1:8087端口查看詳情

啟動一個消費者和一個生產者

2.Kafka Manager

2.1 部署

https://github.com/yahoo/kafka-manager/archive/1.3.3.15.zip

1. 上傳壓縮包kafka-manager-1.3.3.15.zip到集群

2. 解壓kafka-manager-1.3.3.15.zip

   $ unzip kafka-manager-1.3.3.15.zip
   

3. 修改kafka-manager-1.3.3.21/conf/application.conf文件啟用Kafka-Manager使用賬號登錄

   # 修改為：
   kafka-manager.zkhosts="cm1:2181,cm2:2181,cm3:2181"
   basicAuthentication.enabled=true
   basicAuthentication.enabled=${?KAFKA_MANAGER_AUTH_ENABLED}
   basicAuthentication.username="admin"
   basicAuthentication.username=${?KAFKA_MANAGER_USERNAME}
   basicAuthentication.password="admin"
   basicAuthentication.password=${?KAFKA_MANAGER_PASSWORD}
   basicAuthentication.realm="Kafka-Manager"
   

   將登錄Kafka-Manager的賬號密碼設置為admin。

4. 使用如下命令啟動Kafka-Manager

   修改文件的權限

   [root@cm1 bin]$ chmod 777 kafka-manager
   # 默認為9000，但是我的集群有端口沖突，改為8090
   [root@cm1 kafka-manager-1.3.3.15]$ nohup bin/kafka-manager -Dhttp.port=8090 > nohup.out 2>&1 &
   

   端口8090監聽成功。

   [root@cm1 kafka-manager-1.3.3.15]$ netstat -apn | grep 8090
   tcp6       0      0 :::8090                 :::*                    LISTEN      32934/java
   

5. 在瀏覽器輸入http://cm1:8090訪問即可

   

   到此為止Kafka-Manager就部署成功了。

6. 登錄Kafka-Manager管理界面

   

   點擊Cluster菜單，添加一個Kafka集群

   

   

   根據自己當前Kafka集群的環境進行相應的配置，點擊“Save”完成集群添加

   

   點擊“Kafka-CDH”連接，進入Kafka集群的詳細界面，下圖為Kafka的統計信息

   

   Brokers界面，可以看到當前Kafka集群的所有Broker節點及綜合指標

   

   點擊相應的Broker ID可以看到每個Broker的統計信息及詳細指標等

   

   

   在Topic菜單下，可以創建和查看集群的所有Topic

   

   創建一個Topic

   

2.2 總結

1. Kafka-Manager支持Kafka的0.8.x，0.9.x，0.10.x，0.11.x版本

2. Kafka需要JDK8的環境運行

3. Kafka-Manager支持管理多個Kafka集群。

4. 可以便捷的查看Kafka集群的狀態（Brokers、Topics、副本分布及分區分布情況）

5. 通過界面的方式創建Topic及為Topic重新分配分區等功能。

6. Kafka-Manager啟動默認端口號為9000，可以通過-Dhttp.port來指定端口號

3.Kafka Eagle

參考

https://blog.csdn.net/qq_19524879/article/details/82848797

1. 從git上下載:https://github.com/smartloli/kafka-eagle-bin/archive/v1.4.8.tar.gz（本例選擇1.2.9版本）

2. 解壓（需要解壓兩次）

   cd /opt/module/
   tar -zxf kafka-eagle-bin-1.4.8.tar.gz
   cd kafka-eagle-bin-1.4.8
   tar -zxf kafka-eagle-web-1.4.8-bin.tar.gz
   

3. 設置全局變量，設置JDK的全局變量JAVA_HOME和本應用的KE_HOME

   export JAVA_HOME=/usr/java/jdk1.8.0_131-cloudera
   export KE_HOME=/opt/module/kafka-eagle-bin-1.4.8/kafka-eagle-web-1.4.8
   export PATH=$JAVA_HOME/bin:$KE_HOME/bin:$PATH
   

4. 進入kafka-eagle的conf目錄下修改配置文件 system-config.properties ，配置基礎配置

   cd /opt/module/kafka-eagle-bin-1.4.8/kafka-eagle-web-1.4.8
   
   # 修改為以下內容
   
   #設置kafka集群（可以多個）
   kafka.eagle.zk.cluster.alias=cluster1
   cluster1.zk.list=cm1:2181,cm2:2181,cm3:2181
   
   
   ######################################
   # kafka eagle 的端口
   ######################################
   kafka.eagle.webui.port=8048
   
   
   ######################################
   # kafka jdbc 地址注意可以自己安裝數據mysql也可以自帶的
   ######################################
   kafka.eagle.driver=org.sqlite.JDBC
   kafka.eagle.url=jdbc:sqlite:/opt/module/kafka-eagle-bin-1.4.8/kafka-eagle-web-1.4.8/db/ke.db
   kafka.eagle.username=root
   kafka.eagle.password=123456
   

5. 文件配置完畢后開始啟動 ，啟動要進入bin目錄下

   #進入bin目錄后會看到 ke.sh 文件先修改文件的權限
   chomd 777 ke.sh
   
   ke.sh start
   # 停止
   ke.sh stop
   

   啟動成功后的控制台輸出

   

   部署完成結束

6. 下面介紹下他的頁面功能

   功能界面

   

   使用下 kafkasql查詢的功能