...

Kafka-常用術語(消息、生產者、消費者、集群、broker解釋) 消息和批次 kafka的數據單元被稱為消息。類似於數據庫表中的一行數據。 消息由字節數組組成，所以對於kafka來說，消息里的數據沒有特別的格式或含義。 消息可以有一個可選的元數據，也就是鍵，鍵也是一個字節數組，當消息 ...

場景： kafka先批量拉取消息，完了將拉下來的消息逐條消費，假如此次共拉取40條消息，但在處理第31條時，線程被停掉，就會導致已消費消息offet不會被提交，接下來已經被消費的30條記錄還會被重復消費，這就是kafka重復消費的另一場景； 解決思路： 解決此類重復消費的方式：將能夠唯一標識 ...

1.fetch.min.bytes consumer一次拉取中拉取的最小數據量，默認值為1B 2.fetch.max.bytes consumer一次拉取中拉取的最大數據量，默認值為52428800B，即50MB 3.fetch.max.wait.ms 指定Kafka的等待時間，默認值 ...

Kafka-如何保證消費者的可靠性 只有那些被提交到kafka的數據，也就是那些已經被寫入所有同步副本的數據，對消費者是可用的，這意味着消費者得到的消息已經具備了一致性。消費者唯一要做的是跟蹤哪些消息是已經讀取過的，哪些是還沒有讀取過的。這是在讀取消息時不丟失消息的關鍵。 在從分區讀取數據時 ...

Kafka-消費者-偏移量的提交方式 每次調用poll()方法，它總是返回由生產者寫入Kafka但還沒有被消費者讀取過的記錄，可以追蹤到哪些記錄是被群組里的哪個消費者讀取的。 更新分區當前位置的操作叫做提交。 消費者往一個叫做 _consumer_offset的特殊主題發送消息，消息里包含 ...

消費者不需要自行管理 offset（分組+topic+分區），系統通過 broker 將 offset 存放在本地。低版本通過 zk 自行管理。系統自行管理分區和副本情況。消費者斷線后會自動根據上一次記錄的 offset 去獲取數據（默認一分鍾更新一次 offset），同一個分組中的客戶 ...

（1）Customer和Customer Group （1）兩種常用的消息模型 隊列模型（queuing）和發布-訂閱模型（publish-subscribe）。 隊列的處理方式是一組消費者從服務器讀取消息，一條消息只由其中的一個消費者來處理。 發布-訂閱模型中，消息被廣播給所有的消費者 ...