Kafka設計解析（二十一）Kafka水位(high watermark)與leader epoch的討論
轉載自 huxihx，原文鏈接 Kafka水位(high watermark)與leader epoch的討論 本文主要討論0.11版本之前Kafka的副本備份機制的設計問題以及0.11是如何解決的。簡單來說，0.11之前副本備份機制主要依賴水位(或水印)的概念，而0.11采用 ...
原文：Kafka水位(high watermark)與leader epoch的討論
這是一篇有點長的文章，希望不會令你昏昏欲睡 本文主要討論 . 版本之前Kafka的副本備份機制的設計問題以及 . 是如何解決的。簡單來說， . 之前副本備份機制主要依賴水位 或水印 的概念，而 . 采用了leader epoch來標識備份進度。后面我們會詳細討論兩種機制的差異。不過首先先做一些基本的名詞含義解析。 水位或水印 watermark 一詞，也可稱為高水位 high watermark ...
2017-09-21 15:40 36 17049 推薦指數：
相關推薦
關於Kafka high watermark的討論2
之前寫過一篇關於Kafka High watermark的文章，引起的討論不少：有贊揚之聲，但更多的是針對文中的內容被challenge，於是下定決心找個晚上熬夜再看了一遍，昨晚挑燈通讀了一遍確實發現不少錯誤。鑒於此我決定再寫一篇博客重新梳理一下最新版本中High watermark（下稱HW ...
kafka高水位和Leader-Epoch
目錄 高水位 高水位更新機制 Leader 副本高水位 Follower 副本高水位 高水位更新說明 Leader Epoch 高水位 在分區高水位以下的消息被認為是已提交消息。kafka中，分區的高水位 ...
Kafka的HW和Leader Epoch
本文主要討論0.11版本之前Kafka的副本備份機制的設計問題以及0.11是如何解決的。簡單來說，0.11之前副本備份機制主要依賴水位(或水印)的概念，而0.11采用了leader epoch來標識備份進度。后面我們會詳細討論兩種機制的差異。不過首先先做一些基本的名詞含義解析。 水位或水印 ...
kafka入門之broker-水印和leader epoch
每個kafka副本對象都持有2個重要的屬性：日志末端位移LEO，高水印HW Kafka對leader副本和follower副本的LEO更新機制是不同的，后面我們會詳細討論。 Kafka對leader副本和follower副本的hw值更新機制也是不同的。 消費者無法消費分區leader副本 ...
Watermark（水位線）
數據產生時是有序的，但是考慮到網絡延遲，它們到達Flink時，有可能時亂序的，先發生的事件延時到達。為了解決事件延時到達（或者說減少延時數據對計算結果的影響），有了watermark機制。 watermark有個參數允許延遲時間，舉例：窗口大小=10s，允許延遲時間=5s。 當事件時間> ...
Kafka：副本同步機制（HW&Leader Epoch）
通常，Kafka中的每個Partiotion中有多個副本(Replica)用於實現高可用，使用相關命令可以查看某一Topic中的Partition數量、Leader、Follower以及ISR的情況： 想象一個場景，Consumer正在消費Leader中Offset=10的數據，而此時 ...
Flink有關於水位線（WaterMark）相關問題
要想說清楚Flink水位線（WaterMark），前提需要弄清楚幾個概念。 第一個是時間概念： 在Flink中有三個時間概念，分別是事件時間，采集時間，和系統時間。 事件時間：在客觀世界中產生的時間，比如用戶點擊網頁產生了一條時間日志，這個時間就是事件時間。 采集時間：我們用Flink采集 ...