转载自 huxihx，原文链接 Kafka水位(high watermark)与leader epoch的讨论 本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用 ...

　　之前写过一篇关于Kafka High watermark的文章，引起的讨论不少：有赞扬之声，但更多的是针对文中的内容被challenge，于是下定决心找个晚上熬夜再看了一遍，昨晚挑灯通读了一遍确实发现不少错误。鉴于此我决定再写一篇博客重新梳理一下最新版本中High watermark（下称HW ...

目录 高水位 高水位更新机制 Leader 副本高水位 Follower 副本高水位 高水位更新说明 Leader Epoch 高水位 在分区高水位以下的消息被认为是已提交消息。kafka中，分区的高水位 ...

本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异。不过首先先做一些基本的名词含义解析。 水位或水印 ...

每个kafka副本对象都持有2个重要的属性：日志末端位移LEO，高水印HW Kafka对leader副本和follower副本的LEO更新机制是不同的，后面我们会详细讨论。 Kafka对leader副本和follower副本的hw值更新机制也是不同的。 消费者无法消费分区leader副本 ...

数据产生时是有序的，但是考虑到网络延迟，它们到达Flink时，有可能时乱序的，先发生的事件延时到达。为了解决事件延时到达（或者说减少延时数据对计算结果的影响），有了watermark机制。 watermark有个参数允许延迟时间，举例：窗口大小=10s，允许延迟时间=5s。 当事件时间> ...

通常，Kafka中的每个Partiotion中有多个副本(Replica)用于实现高可用，使用相关命令可以查看某一Topic中的Partition数量、Leader、Follower以及ISR的情况： 想象一个场景，Consumer正在消费Leader中Offset=10的数据，而此时 ...

要想说清楚Flink水位线（WaterMark），前提需要弄清楚几个概念。 第一个是时间概念： 在Flink中有三个时间概念，分别是事件时间，采集时间，和系统时间。 事件时间：在客观世界中产生的时间，比如用户点击网页产生了一条时间日志，这个时间就是事件时间。 采集时间：我们用Flink采集 ...