jmx_exporter+prometheus+grafana實現kafka metric監控

轉載自博客：https://www.jianshu.com/p/d3022da80e9a

1.下載kafka，鏈接 https://kafka.apache.org/downloads;

2.配置kafka的JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999"，我這里用了9999端口。
3.下載jmx_exporter,鏈接 https://github.com/prometheus/jmx_exporter, 我將文件放在/opt/kafka/kafka_2.11-1.0.0/jmx_prometheus_javaagent-0.9.jar;
4.創建文件kafka-agent.yaml, 我放在/opt/kafka/kafka_2.11-1.0.0, 內容為你需要的kafka metrics

hostPort: 127.0.0.1:9999 # 這里9999為設置的jmx端口
lowercaseOutputName: true
whitelistObjectNames:

• "kafka.controller:type=KafkaController,name=OfflinePartitionsCount"
• "kafka.controller:type=KafkaController,name=ActiveControllerCount"

5.再次修改bin/kafka-server-start.sh,
添加 export KAFKA_OPTS="-javaagent:/opt/kafka/kafka_2.11-1.0.0/jmx_prometheus_javaagent-0.9.jar=9990:/opt/kafka
/kafka_2.11-1.0.0/kafka-agent.yaml";

注意jmx_prometheus_javaagent-0.9.jar=9990:, 9990為jmx_exporter提供數據的端口，之后我們訪問http://xxx.xxx.xxx:9990/metrics就能獲得需要的metrics數據:

如下：
kafka_server_brokertopicmetrics_fiveminuterate{name="TotalFetchRequestsPerSec",} 79706.84209535549
kafka_server_brokertopicmetrics_fiveminuterate{name="TotalProduceRequestsPerSec",} 214.84898012003208
...

6.如果使用了prometheus來抓取數據，只要增加prometheus抓取目標源如下, 再結合grafana來做監控看板。

  - job_name: kafka-jmx static_configs: - targets: - xxx.com:9990 - xxx:9990 - xxx:9990 

注：當然你也可以使用傳統 的jmx監控 bean 獲取kafa的 metric數據

作者：星星之火在心中
鏈接：https://www.jianshu.com/p/d3022da80e9a
來源：簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。