原文:kafka 消费 报 Commit cannot be completed since the group has already rebalanced and assigned the partitions to ano

错误原因: kafka设置了自动提交,但在规定的提交时间之内却没有处理完消息,导致消息自动提交出错,这样还会引发一个问题,就是当提交的消息不成功,kafka有重试机制,这样就会重新消费该消息,但消费又不成功,这样循环,会导致后面的消息堆积过多。 解决办法: 修改提交方式,改为手动提交 默认为自动提交 根据实际情况,修改提交时间 默认时间单位为毫秒, 毫秒 根据实际业务,修改代码,降低消息处理时间 ...

2021-03-10 10:43 0 1309 推荐指数:

查看详情

Kafka消费组(consumer group)

一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念,希望能 ...

Tue Dec 27 02:12:00 CST 2016 48 90482
Kafka消费组(consumer group)

一、 误区澄清与概念明确 1 Kafka的版本 很多人在Kafka中国社区提问时的开头经常是这样的:“我使用的kafka版本是2.10/2.11, 现在碰到一个奇怪的问题。。。。” 无意冒犯,但这里的2.10/2.11不是kafka的版本,而是编译kafka的Scala ...

Wed Jun 20 19:09:00 CST 2018 0 23976
Kafka消费组(consumer group)

一、 误区澄清与概念明确 1 Kafka的版本 很多人在Kafka中国社区(替群主做个宣传,QQ号:162272557)提问时的开头经常是这样的:“我使用的kafka版本是2.10/2.11, 现在碰到一个奇怪的问题。。。。” 无意冒犯,但这里的2.10/2.11不是kafka的版本 ...

Fri Oct 20 17:53:00 CST 2017 0 8495
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM