Kafka監控利器

　　開發過程中，kafka幾乎是標配的Mq，如果有一個kafka的監控助手，哪就更完美了，常用的kafka監控工具有 KafkaOffsetMonitor 、Kafka Manager、Capillary、Kafka Eagle，經過測試，最后決定使用Kafka Manager。這篇文章主要介紹Kafka Manager安裝及使用。

       硬件環境：

1. Centos
2. kafka-manager-1.3.2.1 為了方便我已經分享到百度網盤，點擊下載即可 https://pan.baidu.com/s/1J4B_YnSauUbhtTCHA3y11A
3. kafka單機或者集群的運行實例

一、安裝

　　1. 下載及解壓

在Centos建個存放Kafka Manager 的文件夾，我的存放目錄中在home下，執行如下命令新建文件夾

mkdir /home/kafka-manager

然后轉到改目錄，把點擊下載kafka-manager，下載后把壓縮包放到新建的目錄下，執行解壓命令

unzip kafka-manager-1.3.2.1.zip

可以根據具體環境修改配置文件 ./conf/application.conf，我的配置信息為

# Copyright 2015 Yahoo Inc. Licensed under the Apache License, Version 2.0
# See accompanying LICENSE file.
# This is the main configuration file for the application.
# ~~~~~
# Secret key
# ~~~~~

# The secret key is used to secure cryptographics functions.

# If you deploy your application to several instances be sure to use the same key!

play.crypto.secret="^<csmm5Fx4d=r2HEX8pelM3iBkFVv?k[mc;IZE<_Qoq8EkX_/7@Zt6dP05Pzea3U"

play.crypto.secret=${?APPLICATION_SECRET}

# The application languages

# ~~~~~

play.i18n.langs=["en"]

play.http.requestHandler = "play.http.DefaultHttpRequestHandler"

play.http.context = "/"

play.application.loader=loader.KafkaManagerLoader

kafka-manager.zkhosts="localhost:2181"

kafka-manager.zkhosts=${?ZK_HOSTS}

pinned-dispatcher.type="PinnedDispatcher"

pinned-dispatcher.executor="thread-pool-executor"

application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]

akka {

  loggers = ["akka.event.slf4j.Slf4jLogger"]

  loglevel = "INFO"

}

basicAuthentication.enabled=false

basicAuthentication.username="admin"

basicAuthentication.password="password"

basicAuthentication.realm="Kafka-Manager"

kafka-manager.consumer.properties.file=${?CONSUMER_PROPERTIES_FILE}

一般為默認即可，一切就緒就可以執行如下命令啟動，

 

　　2. 啟動

nohup ./bin/kafka-manager -Dconfig.file=./conf/application.conf -Dhttp.port=9111 >kafka-manager.log 2>&1 &

確認下是否啟用，執行如下命令

netstat -an |grep 9111

結果顯示，顯示 9111 端口在監聽狀態，說明我們的服務已經啟動。

 

在瀏覽器中查看，輸入你的主機名或者ip+端口即可，顯示如下，即說明kafka-manager成功安裝

 

 

二、使用

1. 添加kafka

點擊Cluster，選擇添加 Add Cluster 選擇，根據kafka實例填寫即可，主要配置ZK，其它信息，根據業務需要改動。

我的配置信息如下：

 

 

　　　2. 查看信息

1)         集群信息

 

 

主要顯示版本信息、Topics、Brokers，點擊Topics數量或者Brokers數量即可進入相應的詳情列表

2)         Brokers

 

主要顯示Topic的操作及列表，及每個topic的主要信息，點擊具體的topic，即可查看詳情

3)         Topics

 

顯示某個topic的具體信息，非常的詳細

4)         Consumers

a)         首先我們啟動一個消費者，集群中的任何一個實例即可，執行如下命令

./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic **********

**********為消費的Topic。

b)         消費啟動后，點擊Consumers，顯示如下

 

         點擊消費者，即可查看該消費者的詳細信息

 

主要涉及Partition、Logsize、Consumer Offset

 

　　關於kafka-manager就介紹到這里，如果你有更好的監控工具，也拿出來一塊分享吧