1.概述
最近有同學留言反饋了使用Kafka監控工具Kafka Eagle的一些問題，這里筆者特意整理了這些問題。並且希望通過這篇博客來解答這些同學的在使用Kafka Eagle的時候遇到的一些困惑，同時也給出一些定位分析Kafka Eagle異常的時的解決辦法。
2.內容
2.1 背景
在使用Kafka Eagle監控系統之前，筆者簡單的介紹一下這款工具的用途。Kafka Eagle監控系統是一款用來監控Kafka集群的工具，目前更新的版本是v1.2.3，支持管理多個Kafka集群、管理Kafka主題（包含查看、刪除、創建等）、消費者組合消費者實例監控、消息阻塞告警、Kafka集群健康狀態查看等。目前Kafka Eagle v1.2.3整個系統所包含的功能，這里筆者給繪制成了一個圖，結果如下圖所示：
2.2 安裝
接下來，我們開始安裝Kafka Eagle系統，安裝之前，我們需要准備好Kafka Eagle安裝包。這里有2種方式：
- 下載編譯好的安裝包
- 下載源代碼，然后自行編譯安裝
下面分別介紹這2種方式。
2.2.1 直接下載安裝包
可以直接訪問Kafka Eagle安裝包下載地址：http://download.smartloli.org/,然后點擊下載按鈕，等待下載完成即可。下載界面如下圖所示：
2.2.2 下載源代碼，自行編譯安裝
Kafka Eagle系統的源代碼托管在Github上，大家可以訪問https://github.com/smartloli/kafka-eagle來獲取源代碼。Kafka Eagle源代碼是由Maven工程來管理的，所以，在編譯Kafka Eagle源代碼之前，需要在本地開發環境中准備好你的Maven環境。
Maven安裝比較簡單，這里給大家介紹安裝Maven的步驟：
# 步驟1：下載Maven安裝包 wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz # 步驟2：解壓Maven安裝包 tar -zxvf apache-maven-3.5.4-bin.tar.gz # 步驟3：重命名並移動到指定位置 mv apache-maven-3.5.4 /usr/local/maven # 步驟4：配置Maven環境編輯 vi ~/.bash_profile export M2_HOME=/usr/local/maven export PATH=$PATH:$M2_HOME/bin # 步驟5：執行source命令讓環境變量立即生效 source ~/.bash_profile # 步驟6：驗證Maven是否安裝成功 mvn -v # 如果能打印Maven版本信息，則安裝成功
然后，進入到Kafka Eagle源代碼根目錄，在根目錄中有一個build.sh的腳本，執行該腳本進行源代碼編譯。編譯成功后，控制台會打印相關信息，如下圖所示：
2.2.3 配置Kafka Eagle
准備好Kafka Eagle安裝包后，接下來我們就可以進行安裝了。其實，Kafka Eagle的安裝是很簡單的，當初設計這個系統就是遵循簡單、易用的原則來的。但是，很多同學在安裝的過程當中卻遇到了很多各式各樣的問題。其實，在官方使用手冊的安裝一節中，介紹的也很詳細。官方使用手冊地址：http://ke.smartloli.org/ 文檔托管在Gitbook，這里需要注意的是，可能有些同學反饋說訪問不了，如果網絡有波動，偶爾可能需要使用代理來訪問。
接下來，我們就開始配置Kafka Eagle系統，步驟如下：
1. 配置JAVA_HOME和KE_HOME
由於源代碼核心實現采用的是Java語言，所以需要配置JDK環境，建議采用JDK8以上。配置內容如下：
vi ~/.bash_profile export JAVA_HOME=/usr/local/jdk8 export KE_HOME=/data/soft/new/kafka-eagle export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin
然后，執行source ~/.bash_profile命令讓命令立即生效。如果不配置環境變量，可能在啟動Kafka Eagle腳本ke.sh時拋出如下異常，異常信息如下：
[2018-07-26 18:41:51] Error: The KE_HOME environment variable is not defined correctly. [2018-07-26 18:41:51] Error: This environment variable is needed to run this program. [2018-07-26 18:41:51] Error: The JAVA_HOME environment variable is not defined correctly. [2018-07-26 18:41:51] Error: This environment variable is needed to run this program.
2. 配置system-config.properties文件
該文件在$KE_HOME/conf/目錄，配置內容如下：
###################################### # 配置多個Kafka集群所對應的Zookeeper ###################################### kafka.eagle.zk.cluster.alias=cluster1,cluster2 cluster1.zk.list=dn1:2181,dn2:2181,dn3:2181 cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181 ###################################### # 設置Zookeeper線程數 ###################################### kafka.zk.limit.size=25 ###################################### # 設置Kafka Eagle瀏覽器訪問端口 ###################################### kafka.eagle.webui.port=8048 ###################################### # 如果你的offsets存儲在Kafka中，這里就配置 # 屬性值為kafka，如果是在Zookeeper中，可以 # 注釋該屬性。一般情況下，Offsets的也和你消 # 費者API有關系，如果你使用的Kafka版本為0.10.x # 以后的版本，但是，你的消費API使用的是0.8.2.x # 時的API，此時消費者依然是在Zookeeper中 ###################################### cluster1.kafka.eagle.offset.storage=kafka
######################################
# 如果你的集群一個是新版本（0.10.x以上），
# 一個是老版本（0.8或0.9），可以這樣設置，
# 如果都是新版本，那么可以將值都設置成kafka
######################################
cluster2.kafka.eagle.offset.storage=zookeeper ###################################### # 是否啟動監控圖表，默認是不啟動的 ###################################### kafka.eagle.metrics.charts=false ###################################### # 在使用Kafka SQL查詢主題時，如果遇到錯誤， # 可以嘗試開啟這個屬性，默認情況下，不開啟 ###################################### kafka.eagle.sql.fix.error=false ###################################### # 郵件服務器設置，用來告警 ###################################### kafka.eagle.mail.enable=false kafka.eagle.mail.sa= kafka.eagle.mail.username= kafka.eagle.mail.password= kafka.eagle.mail.server.host= kafka.eagle.mail.server.port= ###################################### # 設置告警用戶，多個用戶以英文逗號分隔 ###################################### kafka.eagle.alert.users=smartloli.org@gmail.com ###################################### # 超級管理員刪除主題的Token ###################################### kafka.eagle.topic.token=keadmin ###################################### # 如果啟動Kafka SASL協議，開啟該屬性 ###################################### kafka.eagle.sasl.enable=false kafka.eagle.sasl.protocol=SASL_PLAINTEXT kafka.eagle.sasl.mechanism=PLAIN ###################################### # Kafka Eagle默認存儲在Sqlite中，如果要使用 # MySQL可以替換驅動、用戶名、密碼、連接地址 ###################################### #kafka.eagle.driver=com.mysql.jdbc.Driver #kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull #kafka.eagle.username=root #kafka.eagle.password=123456 kafka.eagle.driver=org.sqlite.JDBC kafka.eagle.url=jdbc:sqlite:/Users/dengjie/workspace/kafka-egale/db/ke.db kafka.eagle.username=root kafka.eagle.password=root
3. 啟動Kafka Eagle
配置完成后，可以執行Kafka Eagle腳本ke.sh。如果首次執行，需要給該腳本賦予執行權限，命令如下：
chmod +x $KE_HOME/bin/ke.sh
在ke.sh腳本中，支持以下命令：
| 命令 | 說明 |
| ke.sh start | 啟動Kafka Eagle系統 |
| ke.sh stop | 停止Kafka Eagle系統 |
| ke.sh restart | 重啟Kafka Eagle系統 |
| ke.sh status | 查看Kafka Eagle系統運行狀態 |
| ke.sh stats | 統計Kafka Eagle系統占用Linux資源情況 |
| ke.sh find [ClassName] | 查看Kafka Eagle系統中的類是否存在 |
3.預覽
在反饋出現頻率最多的問題，就是Consumer模塊沒有數據展示、趨勢監控圖沒有數據、Kafka SQL查詢Topic沒有數據。下面圍繞這3個問題來給大家演示，以及解釋什么情況下出現這種情況。
3.1 Consumer模塊展示
啟動一個消費者程序，然后進入到Consumer模塊，截圖如下：
這里需要注意的時，Kafka在0.10.x之后的版本和之前的版本底層設計有了變化，在之前的版本消費者信息是存儲在Zookeeper中的，在0.10.x版本之后，默認存儲到了Kafka內部主題中，只保留了元數據信息存儲在Zookeeper中，例如：Kafka Broker地址、Topic名稱、分區等信息。
是不是我使用的是Kafka 0.10.x之后的版本（如0.10.0、1.0.x、1.x等），然后配置屬性kafka.eagle.offset.storage=kafka，啟動消費者，就可以看到消費者信息呢？不一定的，還有一個關鍵因素決定Kafka Eagle系統是否可以展示你消費者程序信息，那就是消費者API的使用。
如果你使用的Kafka 0.10.x之后的版本，然后消費者API也是使用的最新的寫法，那么自然你的消費者信息會被記錄到Kafka內部主題中，那么此時你設置kafka.eagle.offset.storage=kafka這個屬性，Kafka Eagle系統可以完美展示你的消費者使用情況。
但是，如果你雖然使用的是Kafka 0.10.x之后的版本，但是你使用的消費者API還是0.8.2.x或是0.9.x時的寫法，此時的消費者信息是會被記錄到Zookeeper中進行存儲，那么此時你需要設置kafka.eagle.offset.storage=zookeeper或者注釋掉該屬性，在訪問Kafka Eagle系統就可以查看到你的消費者詳情了。
3.2. 監控趨勢圖
Kafka系統默認是沒有開啟JMX端口的，所以Kafka Eagle的監控趨勢圖默認采用不啟用的方式，即kafka.eagle.metrics.charts=false。如果需要查看監控趨勢圖，需要開啟Kafka系統的JMX端口，設置該端口在$KAFKA_HOME/bin/kafka-server-start.sh腳本中，設置內容如下：
vi kafka-server-start.sh if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70" export JMX_PORT="9999" #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" fi
需要注意的時，這里的端口不一定非要設置成9999，端口只有可用，均可。Kafka Eagle系統會自動獲取這個JMX端口，采集結果如下：
3.3 Kafka SQL查詢Topic
還有一部分同學在Kafka Eagle系統的SQL查詢Topic時，會出現查詢不到數據的情況。這里查詢不到數據可能情況有多種，首先需要排除Kafka集群因素，確保Kafka集群運行正常，Topic能夠正常訪問，並且Topic中是有數據的。
在排除一些主觀因素后，回到Kafka Eagle系統應用層面，如果出現這種問題，可以嘗試開啟屬性kafka.eagle.sql.fix.error=true，這個屬性默認是不開啟的。正常情況下使用Kafka SQL查詢Topic，返回結果如下圖所示：
4.總結
另外，如果在使用Kafka Eagle系統中遇到其他問題，可以查看$KE_HOME/logs/ke_console.out日志來分析具體的異常信息，一般都會提示具體的錯誤，大家可以根據錯誤提示來進行解決。
5.結束語
這篇博客就和大家分享到這里，如果大家在研究學習的過程當中有什么問題，可以加群進行討論或發送郵件給我，我會盡我所能為您解答，與君共勉！
另外，博主出書了《Hadoop大數據挖掘從入門到進階實戰》，喜歡的朋友或同學， 可以在公告欄那里點擊購買鏈接購買博主的書進行學習，在此感謝大家的支持。