1.概述

Kafka Eagle是一款開源的Kafka集群監控系統，源代碼托管在Github。目前Kafka Eagle已更新到V1.3.4版本，域名已經統一更新為http://www.kafka-eagle.org/，之前的下載地址和官網使用手冊地址均已替換，例如http://download.smartloli.org/替換為http://download.kafka-eagle.org/，而使用手冊地址http://ke.smartloli.org/替換為https://docs.kafka-eagle.org/。今天，筆者就帶着大家來整體分析一下Kafka Eagle。

2.內容

Kafka Eagle迭代至今，以及集成了許多功能，例如：多集群管理、Topic大小統計、Topic MBean監控、Kafka多版本兼容、Flink消費者應用程序支持等。

2.1 Kafka Eagle

2.1.1 背景

Kafka Eagle設計的背景，有以下幾點原因：

Apache Kafka官方沒有提供監控系統或是Web頁面，來可視化Kafka集群，這對管理和掌握Kafka的動態帶來極大的不方便，而開發者和運維人員無法及時把握Kafka的狀態，在定位分析一些問題的時候，會很不方便
已有的監控工具功能較少，對於現有的Kafka監控工具，功能較少，達不到想要的監控和管理效果
已有的監控工具使用難度較大，目前一些監控工具均需要自己編譯源代碼，而且在配置上很復雜，同時文檔說明也沒有統一的規范，使用起來很不方便
告警支持不足，有些監控工具雖然支持郵件告警，但是，對於已有的IM支持比較欠缺，例如微信和釘釘的支持等

2.1.2 架構和核心模塊

Kafka Eagle核心模塊包含如下：

面板可視化
主題管理，包含創建主題、刪除主題、主題列舉、主題配置、主題查詢等
消費者應用：對不同消費者應用進行監控，包含Kafka API、Flink API、Spark API、Storm API、Flume API、LogStash API等
集群管理：包含對Kafka集群和Zookeeper集群的詳情展示，其內容包含Kafka啟動時間、Kafka端口號、Zookeeper Leader角色等。同時，還有多集群切換管理，Zookeeper Client操作入口
集群監控：包含對Broker、Kafka核心指標、Zookeeper核心指標進行監控，並繪制歷史趨勢圖
告警功能：對消費者應用數據積壓情況進行告警，以及對Kafka和Zookeeper監控度進行告警。同時，支持郵件、微信、釘釘告警通知
系統管理：包含用戶創建、用戶角色分配、資源訪問進行管理

Kafka Eagle架構組成如下所示：

可視化：負責展示主題列表、集群健康、消費者應用等
采集器：數據采集的來源包含Zookeeper、Kafka JMX & 內部Topic、Kafka API（這里API針對Kafka 2.x以后的版本進行升級）
數據存儲：目前Kafka Eagle存儲采用MySQL或SQLite，數據庫和表的創建均是自動完成的，按照官方文檔進行配置好，啟動Kafka Eagle就會自動創建，用來存儲元數據和監控數據
監控：負責見消費者應用消費情況（是否有數據積壓）、集群健康狀態（集群節點是否掉線）
告警：對監控到的異常進行告警通知，支持郵件、微信、釘釘等方式
權限管理：對訪問用戶進行權限管理，對於管理員、開發者、訪問者等不同角色的用戶，分配不用的訪問權限

2.1.3 選擇Kafka Eagle有哪些好處

選擇Kafka Eagle有哪些好處呢？首先Kafka Eagle安裝使用非常方便，這也是Kafka Eagle設計的初衷之一；其次，Kafka Eagle提供了友好的用戶交互界面，以及豐富的功能支持。同時，對於使用過程中遇到的BUG和問題，可以在QQ群中進行咨詢以及在Github源代碼中提issues。總計如下：