原文：Flink中State管理與恢復之CheckPoint原理及三種checkpoint使用方式對比
CheckPoint 當程序出現問題需要恢復 Sate 數據的時候，只有程序提供支持才可以實現 State 的容錯。State 的容錯需要依靠 CheckPoint 機制，這樣才可以保證 Exactly once 這種語義，但是注意，它只能保證 Flink 系統內的 Exactly once，比如 Flink 內置支持的算子。針對 Source和 Sink 組件，如果想要保證 Exactly on ...
2020-11-29 16:54 0 593 推薦指數：
相關推薦
1、State概念理解 在Flink中，按照基本類型，對State做了以下兩類的划分：Keyed State， Operator State。 Keyed State：和Key有關的狀態類型，它只能被基於KeyedStream之上的操作，方法所使用。我們可以從邏輯上理解這種狀態是一個並行度操作 ...
具體實現代碼如下所示： ...
Checkpoint checkpoint是Flink容錯的核心機制。它可以定期的將各個Operator處理的數據進行快照存儲（Snapshot）。 如果Flink程序出現宕機，可以重新從這些快照中恢復數據。 Flink容錯機制的核心就是持續創建分布式數據流及其狀態的一致快照 ...
Flink在流上最大的特點，就是引入全局snapshot， CheckpointCoordinator 做snapshot的核心組件為， CheckpointCoordinator CheckpointIDCounter 有兩種 ...
1 Flink 應用程序啟動 2 Checkpoint 保存與恢復 2.1 Checkpoin設置與保存 默認情況下，如果設置了Checkpoint選項，則Flink只保留最近成功生成的1個Checkpoint，而當Flink程序失敗時 ...
目錄 相關基礎 問題 反壓 InputGate(接收端處理反壓) ResultPartition(發送端處理反壓) 總結 最后 相關基礎 在講解Flink的checkPoint和背壓機制之前，我們先來看下checkpoint和背壓的相關 ...
State Backend(狀態的后端存儲) 默認情況下，state會保存在taskmanager的內存中，checkpoint會存儲在JobManager的內存中。 state 的store和checkpoint的位置取決於State Backend的配置 ...