花费 34 ms
Kafka consumer poll(long)与poll(Duration)的区别

最近在StackOverflow碰到的一个问题,即在consumer.poll之后assignment()返回为空的问题,如下面这段代码所示: 有意思的是,如果是consumer.po ...

Fri Apr 26 20:03:00 CST 2019 10 12038
Kafka的CommitFailedException异常

一、含义 CommitFailedException异常:位移提交失败时候抛出的异常。通常该异常被抛出时还会携带这样的一段话: Commit cannot be completed sinc ...

Sat Feb 03 00:35:00 CST 2018 2 8054
【原创】Kafka Consumer多线程消费

上一篇《Kafka Consumer多线程实例续篇》修正了多线程提交位移的问题,但依然可能出现数据丢失的情况,原因在于多个线程可能拿到相同分区的数据,而消费的顺序会破坏消息本身在分区中的顺序,因而扰乱 ...

Tue Sep 15 17:51:00 CST 2020 8 3028
【原创】Kafka Consumer多线程实例续篇

  在上一篇《Kafka Consumer多线程实例》中我们讨论了KafkaConsumer多线程的两种写法:多KafkaConsumer多线程以及单KafkaConsumer多线程。在第二种用法中我 ...

Wed Jun 28 23:33:00 CST 2017 6 7409
Kafka consumer group位移重设

  本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是, 这是0.11.0.0版本提供的新功能 ...

Fri Aug 04 22:56:00 CST 2017 4 5202
Kafka 2.6新功能:消费者主动触发Rebalance

Kafka 2.6引入的新功能:消费者能够主动触发Rebalance。一直以来,Rebalance的触发都是由Coordinator来执行的,但有些场景下消费者端能够主动触发Rebalance会很有必 ...

Fri Jul 10 19:04:00 CST 2020 0 1735
Java API获取consumer group最新提交位移的时间

碰到了有人问起这个问题,目前java consumer没有利用OffsetAndMetadata中的metadata字段记录提交的时间,故直接通过java consumer来查询是不行,我们需要直接读 ...

Thu Jan 03 19:52:00 CST 2019 14 864

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM