使用InflubDB和Grafana監控Flink


Influxdb和Grafana安裝不在這里贅述,直接介紹flink的配置。

一、創建InfluxDB數據庫

因為我們需要將采集的metrics數據保存到influxdb中,所以我們首先需要創建一個數據庫,create databases flinkonyarn

默認情況下,influxdb在剛安裝好之后,禁用身份驗證,靜默忽略所有憑據,並且所有用戶都具有所有權限,這樣是極不安全的。在開啟身份驗證之后,創建相應的用戶和對應的密碼

二、配置flink文件

修改配置文件 conf/flink-conf.yaml 在最后面增加以下

metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
metrics.reporter.influxdb.host: xx.xx.xx.xx
metrics.reporter.influxdb.port: 8086
metrics.reporter.influxdb.db: flinkonyarn
metrics.reporter.influxdb.username: admin
metrics.reporter.influxdb.password: admin

class:這個是固定的 
host:這個是安裝 InfluxDB 的 host 地址 
port:這個是 InfluxDB 的端⼝口,默認是 8086 
db:表示你要將 metrics 數據存⼊入到 InfluxDB 的哪個數據庫 
username:InfluxDB 的⽤用戶名 
password:InfluxDB 的密碼

配置完以上兩步,新提交的flink任務產生的metrics數據就會寫入到influxdb中,我們可以看有沒有對應的表產生

use flinkonyarn

show measurements

查看表數據 select * from jobmanager_Status_JVM_CPU_Load limit 10;

三、增加Grafana數據源

所有這些弄好后,就可以配置圖表了。

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM