Kafka集群管理工具kafka-manager

一、kafka-manager簡介

    kafka-manager是目前最受歡迎的kafka集群管理工具，最早由雅虎開源，用戶可以在Web界面執行一些簡單的集群管理操作。具體支持以下內容：

• 管理多個集群
• 輕松檢查群集狀態（主題，消費者，偏移，代理，副本分發，分區分發）
• 運行首選副本選舉
• 使用選項生成分區分配以選擇要使用的代理
• 運行分區重新分配（基於生成的分配）
• 使用可選主題配置創建主題（0.8.1.1具有與0.8.2+不同的配置）
• 刪除主題（僅支持0.8.2+並記住在代理配​​置中設置delete.topic.enable = true）
• 主題列表現在指示標記為刪除的主題（僅支持0.8.2+）
• 批量生成多個主題的分區分配，並可選擇要使用的代理
• 批量運行重新分配多個主題的分區
• 將分區添加到現有主題
• 更新現有主題的配置

kafka-manager 項目地址：https://github.com/yahoo/kafka-manager

二、kafka-manager安裝

1、下載並解壓安裝包

使用Git或者直接從Releases中下載，這里我們下載 2.0.0.2 版本：https://github.com/yahoo/kafka-manager/releases

$ wget https://github.com/yahoo/kafka-manager/archive/2.0.0.2.zip

2、sbt編譯

1）yum安裝sbt(因為kafka-manager需要sbt編譯)

$ curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
$ sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/
$ sudo yum install sbt

修改倉庫地址：（sbt 默認下載庫文件很慢, 還時不時被打斷），我們可以采用阿里雲的鏡像進行替代

$ mkdir ~/.sbt ; vim ~/.sbt/repositories  一定要嚴格按格式來，每行后面不要有空格

[repositories] 
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
sonatype-oss-releases
maven-central
sonatype-oss-snapshots

驗證：檢查sbt是否安裝成功，查看命令輸出，發現已經成功可以從maven.aliyun.com/nexus下載到依賴即表示成功

$ sbt -version

2）編譯kafka-manager

$ ./sbt clean dist

3、修改配置文件

4、啟動服務

啟動順序：zk集群--> kafka集群--> kafka-manager

kafka-manager 默認的端口是9000，可通過 -Dhttp.port 指定端口 ; -Dconfig.file=conf/application.conf 指定配置文件:

nohup /usr/local/kafka-manager-2.0.0.2/bin/kafka-manager -Dconfig.file=/usr/local/kafka-manager-2.0.0.2/conf/application.conf -Dhttp.port=8888 >/dev/null 2>&1 &

jps查看進程:

QuorumPeerMain -- ZooKeeper

Kafka -- Kafka

ProdServerStart -- kafka-manager