原文:kafka 消費 報 Commit cannot be completed since the group has already rebalanced and assigned the partitions to ano

錯誤原因: kafka設置了自動提交,但在規定的提交時間之內卻沒有處理完消息,導致消息自動提交出錯,這樣還會引發一個問題,就是當提交的消息不成功,kafka有重試機制,這樣就會重新消費該消息,但消費又不成功,這樣循環,會導致后面的消息堆積過多。 解決辦法: 修改提交方式,改為手動提交 默認為自動提交 根據實際情況,修改提交時間 默認時間單位為毫秒, 毫秒 根據實際業務,修改代碼,降低消息處理時間 ...

2021-03-10 10:43 0 1309 推薦指數:

查看詳情

Kafka消費組(consumer group)

一直以來都想寫一點關於kafka consumer的東西,特別是關於新版consumer的中文資料很少。最近Kafka社區郵件組已經在討論是否應該正式使用新版本consumer替換老版本,筆者也覺得時機成熟了,於是寫下這篇文章討論並總結一下新版本consumer的些許設計理念,希望能 ...

Tue Dec 27 02:12:00 CST 2016 48 90482
Kafka消費組(consumer group)

一、 誤區澄清與概念明確 1 Kafka的版本 很多人在Kafka中國社區提問時的開頭經常是這樣的:“我使用的kafka版本是2.10/2.11, 現在碰到一個奇怪的問題。。。。” 無意冒犯,但這里的2.10/2.11不是kafka的版本,而是編譯kafka的Scala ...

Wed Jun 20 19:09:00 CST 2018 0 23976
Kafka消費組(consumer group)

一、 誤區澄清與概念明確 1 Kafka的版本 很多人在Kafka中國社區(替群主做個宣傳,QQ號:162272557)提問時的開頭經常是這樣的:“我使用的kafka版本是2.10/2.11, 現在碰到一個奇怪的問題。。。。” 無意冒犯,但這里的2.10/2.11不是kafka的版本 ...

Fri Oct 20 17:53:00 CST 2017 0 8495
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM