#jobManager的IP地址
jobmanager.rpc.address: localhost
#JobManager的端口號
jobmanager.rpc.port: 6123
# JobManagerJVM heap 內存大小(任務提交階段可再設置,優先級高於配置文件)
jobmanager.heap.mb: 1024
# TaskManager JVM heap 內存大小(任務提交階段可再設置,優先級高於配置文件)
taskmanager.heap.mb: 2048
#每個TaskManager 提供的任務slots梳理大小(任務提交階段可再設置,優先級高於配置文件)
taskmanager.numberOfTaskSlots: 1
#Flink任務默認並行度 (一般情況下如果是kafka 按照kafka分區數即可,p=slot*tm)
parallelism.default: 1
#Web的運行監視器端扣
web.port: 8081
#將已完成的作業上傳到的目錄(用於幫助發現任務運行階段日志信息)
jobmanager.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/
#基於Web的HistoryServer的端口號
historyserver.web.port: 8082
#以逗號分割的目錄列表,將作業歸檔到目錄中
historyserver.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/
#刷新存檔的作業目錄的時間間隔(單位:毫秒)
historyserver.archive.fs.refresh-interval: 10000
#用於存儲和檢查點狀態的存儲類型:filesystem hdfs rocksdb
state.backend: rocksdb
##存儲檢查點的數據文件和元數據的默認目錄
state.backend.fs.checkpointdir: hdfs://nameservice/flink/pointsdata/
#用於保存檢查點的目錄(用戶任務代碼可設置覆蓋,這里省略了nameservice,如果多集群任務需要從A發到B,nameservice可不用,相對路徑即可)
state.checkpoints.dir: hdfs:///flink/checkpoints/
#save point的目錄 (一般需要上次ck成功才能savepoint,同上相對路徑)
state.savepoints.dir: hdfs:///flink/savepoints/
#保存最近的檢查點數量 可是業務情況調整
state.checkpoints.num-retained: 20
#開啟增量ck 這里全局生效 用戶代碼也可設置
state.backend.incremental:true
#超時
akka.ask.timeout: 300s
#akka心跳間隔,用於檢測失效的TaskManager,誤報減小此值
akka.watch.heartbeat.interval: 30s
#如果由於丟失或延遲的心跳信息而錯誤的將TaskManager標記為無效,增加此值
akka.watch.heartbeat.pause: 120s
#網絡緩沖區的最大內存大小
taskmanager.network.memory.max: 4gb
#網絡緩沖區的最小內存大小
taskmanager.network.memory.min: 256mb
#用於網絡緩沖區的JVM內存的分數。這決定了TaskManager可以同時具有多少個流數據交換通道以及通道的緩沖程度。
taskmanager.network.memory.fraction: 0.5
#hadoop配置文件地址
fs.hdfs.hadoopconf: /etc/ecm/hadoop-conf/
#任務失敗嘗試次數
yarn.application-attempts: 10
#高可用
high-availability: zookeeper
high-availability.zookeeper.path.root: /flink
high-availability.zookeeper.quorum:zk1,zk2,zk3
high-availability.storageDir: hdfs://nameservice/flink/ha/
#metric收集信息
metrics.reporters: prom
#收集器
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter
#metric對外暴露端口
metrics.reporter.prom.port: 9250-9260
或者
metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
metrics.reporter.influxdb.host: xx.xx.xx.xx
metrics.reporter.influxdb.port: 8086
metrics.reporter.influxdb.db: flink
metrics.reporter.influxdb.username:
metrics.reporter.influxdb.password: