State Backend(狀態的后端存儲) 默認情況下，state會保存在taskmanager的內存中，checkpoint會存儲在JobManager的內存中。 state 的store和checkpoint的位置取決於State Backend的配置 ...

1 Flink 應用程序啟動 2 Checkpoint 保存與恢復 2.1 Checkpoin設置與保存 默認情況下，如果設置了Checkpoint選項，則Flink只保留最近成功生成的1個Checkpoint，而當Flink程序失敗時 ...

Checkpoint checkpoint是Flink容錯的核心機制。它可以定期的將各個Operator處理的數據進行快照存儲（Snapshot）。 如果Flink程序出現宕機，可以重新從這些快照中恢復數據。 Flink容錯機制的核心就是持續創建分布式數據流及其狀態的一致快照 ...

Flink在流上最大的特點，就是引入全局snapshot， CheckpointCoordinator 做snapshot的核心組件為， CheckpointCoordinator CheckpointIDCounter 有兩種 ...

...

1. 狀態一致性 當在分布式系統中引入狀態時，自然也引入了一致性問題。一致性實際上是"正確性級別"的另一種說法，也就是說在成功處理故障並恢復之后得到的結果，與沒有發生任何故障時得到的結果相比，前者到底有多 正確？舉例來說，假設要對最近一小時登錄的用戶計數。在系統經歷故障之后，計數結果是 ...

摘自Apache官網 一、State的基本概念 什么叫State？搜了一把叫做狀態機制。可以用作以下用途。為了保證 at least once, exactly once，Flink引入了State和Checkpoint 某個task/operator某時刻的中間結果 快照 ...

Flink的恢復機制，基於它的一致性檢查點。前面我們已經了解了從流應用中創建檢查點的簡單方法——先暫停應用，保存檢查點，然后再恢復應用程序，這種方法很好理解，但它的理念是“停止一切”，這對於即使是中等延遲要求的應用程序而言也是不實用的。所以Flink沒有這么簡單粗暴 ...