Flink配置詳解及實踐


#jobManager的IP地址
jobmanager.rpc.address: localhost

#JobManager的端口號
jobmanager.rpc.port: 6123

# JobManagerJVM heap 內存大小(任務提交階段可再設置,優先級高於配置文件)
jobmanager.heap.mb: 1024

# TaskManager JVM heap 內存大小(任務提交階段可再設置,優先級高於配置文件)
taskmanager.heap.mb: 2048

#每個TaskManager 提供的任務slots梳理大小(任務提交階段可再設置,優先級高於配置文件)
taskmanager.numberOfTaskSlots: 1

#Flink任務默認並行度 (一般情況下如果是kafka 按照kafka分區數即可,p=slot*tm)
parallelism.default: 1

#Web的運行監視器端扣
web.port: 8081

#將已完成的作業上傳到的目錄(用於幫助發現任務運行階段日志信息)
jobmanager.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/

#基於Web的HistoryServer的端口號
historyserver.web.port: 8082

#以逗號分割的目錄列表,將作業歸檔到目錄中
historyserver.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/

#刷新存檔的作業目錄的時間間隔(單位:毫秒)
historyserver.archive.fs.refresh-interval: 10000

#用於存儲和檢查點狀態的存儲類型:filesystem hdfs rocksdb
state.backend: rocksdb

##存儲檢查點的數據文件和元數據的默認目錄
state.backend.fs.checkpointdir: hdfs://nameservice/flink/pointsdata/

#用於保存檢查點的目錄(用戶任務代碼可設置覆蓋,這里省略了nameservice,如果多集群任務需要從A發到B,nameservice可不用,相對路徑即可)
state.checkpoints.dir: hdfs:///flink/checkpoints/

#save point的目錄 (一般需要上次ck成功才能savepoint,同上相對路徑)
state.savepoints.dir: hdfs:///flink/savepoints/

#保存最近的檢查點數量 可是業務情況調整
state.checkpoints.num-retained: 20

#開啟增量ck 這里全局生效 用戶代碼也可設置
state.backend.incremental:true

#超時
akka.ask.timeout: 300s

#akka心跳間隔,用於檢測失效的TaskManager,誤報減小此值
akka.watch.heartbeat.interval: 30s

#如果由於丟失或延遲的心跳信息而錯誤的將TaskManager標記為無效,增加此值
akka.watch.heartbeat.pause: 120s

#網絡緩沖區的最大內存大小
taskmanager.network.memory.max: 4gb

#網絡緩沖區的最小內存大小
taskmanager.network.memory.min: 256mb

#用於網絡緩沖區的JVM內存的分數。這決定了TaskManager可以同時具有多少個流數據交換通道以及通道的緩沖程度。
taskmanager.network.memory.fraction: 0.5

#hadoop配置文件地址
fs.hdfs.hadoopconf: /etc/ecm/hadoop-conf/

#任務失敗嘗試次數
yarn.application-attempts: 10

#高可用
high-availability: zookeeper
high-availability.zookeeper.path.root: /flink
high-availability.zookeeper.quorum:zk1,zk2,zk3
high-availability.storageDir: hdfs://nameservice/flink/ha/

#metric收集信息
metrics.reporters: prom
#收集器
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter

#metric對外暴露端口
metrics.reporter.prom.port: 9250-9260

或者
metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
metrics.reporter.influxdb.host: xx.xx.xx.xx
metrics.reporter.influxdb.port: 8086
metrics.reporter.influxdb.db: flink
metrics.reporter.influxdb.username:
metrics.reporter.influxdb.password:


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM