kafka詳解(04) - kafka監控 可視化工具
Kafka監控Eagle
1）修改kafka啟動命令
修改kafka-server-start.sh命令中
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
為
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
fi
修改之后分發到其他節點
[hadoop@hadoop102 bin]$ scp kafka-server-start.sh hadoop103:/opt/module/kafka/bin/
[hadoop@hadoop102 bin]$ scp kafka-server-start.sh hadoop104:/opt/module/kafka/bin/
重啟kafka集群
[hadoop@hadoop102 ~]$ mykafka.sh stop
[hadoop@hadoop102 ~]$ mykafka.sh start
2）上傳壓縮包kafka-eagle-bin-1.4.5.tar.gz到集群/opt/software目錄
3）解壓
[hadoop@hadoop102 software]$ tar -zxvf kafka-eagle-bin-1.4.5.tar.gz -C /opt/module/
4）進入到解壓目錄
[hadoop@hadoop102 software]$ cd /opt/module/kafka-eagle-bin-1.4.5/
[hadoop@hadoop102 kafka-eagle-bin-1.4.5]$ ll
total 73952
-rw-rw-r--. 1 hadoop hadoop 75722791 Mar 21 2020 kafka-eagle-web-1.4.5-bin.tar.gz
5）將kafka-eagle-web-1.4.5-bin.tar.gz解壓至/opt/module
[hadoop@hadoop102 kafka-eagle-bin-1.4.5]$ tar -zxvf kafka-eagle-web-1.4.5-bin.tar.gz -C /opt/module/
6）修改名稱
[hadoop@hadoop102 kafka-eagle-bin-1.4.5]$ cd /opt/module/
[hadoop@hadoop102 module]$ mv kafka-eagle-web-1.4.5/ eagle
7）給啟動文件執行權限
[hadoop@hadoop102 module]$ cd eagle/bin/
[hadoop@hadoop102 bin]$ chmod 777 ke.sh
8）修改配置文件 conf/system-config.properties
[hadoop@hadoop102 bin]$ cd /opt/module/eagle/conf/
[hadoop@hadoop102 conf]$ vi system-config.properties
修改內容如下
######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hadoop102:2181,hadoop103:2181,hadoop104:2181
######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.sql.fix.error=false
######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://hadoop102:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456
9）添加環境變量
[hadoop@hadoop102 conf]$ sudo vi /etc/profile
export KE_HOME=/opt/module/eagle
export PATH=$PATH:$KE_HOME/bin
使環境變量生效source /etc/profile
10）啟動
注意：啟動之前需要先啟動ZK以及KAFKA
[hadoop@hadoop102 eagle]$ bin/ke.sh start
11）登錄頁面查看監控數據
瀏覽器中輸入如下地址進入到登錄界面：http://192.168.194.102:8048/ke
使用默認的用戶名/密碼（admin/123456）登錄
kafka可視化管理平台kafka-console-ui
kafka-console-ui 是一款輕量級的kafka可視化管理平台，安裝、配置特別簡單，一般來說只需要配置一個kafka集群地址啟動即可。
不是一個企業級的平台，目前看來只適合中、小型集群的管理，功能非常簡單，沒有國際化支持，全是中文展示。頁面布局類似rocketmq-console。
這個工具目前主要是以管理功能為主，盡量擺脫繁瑣的命令操作，所以沒有相關監控指標數據的展示。
github地址：https://github.com/xxd763795151/kafka-console-ui
安裝包下載：https://github.com/xxd763795151/kafka-console-ui/releases/download/v1.0.3/kafka-console-ui.zip
Windows中快速啟動
解壓縮下載好的zip安裝包
進入bin目錄（必須在bin目錄下），雙擊執行start.bat啟動
停止：直接關閉啟動的命令行窗口即可
Linux中快速啟動
將下載好的安裝包上傳到服務器中
# 解壓縮
unzip kafka-console-ui.zip
# 進入解壓縮后的目錄
cd kafka-console-ui
# 啟動
bin/start.sh
# 停止
bin/shutdown.sh
配置kafka集群並使用
啟動完成后通過瀏覽器訪問：http://hadoop102:7766
第一次啟動，打開瀏覽器后，因為還沒有配置kafka集群信息，所以頁面右上角會有錯誤信息，比如：No Cluster Info或者是沒有集群信息，請先切換集群之類的提示。
集群配置如下：
點擊頁面上方導航欄的 [運維] 菜單
點擊集群管理下的 [集群切換] 按鈕
在彈框里點擊 [新增集群]
然后輸入kafka集群名稱（隨便起個名字）和地址（IP:PORT），多個地址用逗號分隔
點擊提交便增加成功了
增加成功可以看到會話框已經有這個集群信息，然后點擊右側的 [切換] 按鈕，便切換該集群為當前集群
后續如果再增加其它集群，就可以按上面這個流程，如果想切換到哪個集群，點擊切換按鈕，便會切換到對應的集群，頁面的右上角會顯示當前是使用的哪個集群。
在新增集群的時候，除了集群地址還可以輸入集群的其它屬性配置，比如請求超時，ACL配置等。如果開啟了ACL，切換到該集群的時候，導航欄上便會出現ACL菜單，支持進行相關操作