花費 26 ms
Kafka consumer poll(long)與poll(Duration)的區別

最近在StackOverflow碰到的一個問題,即在consumer.poll之后assignment()返回為空的問題,如下面這段代碼所示: 有意思的是,如果是consumer.po ...

Fri Apr 26 20:03:00 CST 2019 10 12038
Kafka的CommitFailedException異常

一、含義 CommitFailedException異常:位移提交失敗時候拋出的異常。通常該異常被拋出時還會攜帶這樣的一段話: Commit cannot be completed sinc ...

Sat Feb 03 00:35:00 CST 2018 2 8054
【原創】Kafka Consumer多線程消費

上一篇《Kafka Consumer多線程實例續篇》修正了多線程提交位移的問題,但依然可能出現數據丟失的情況,原因在於多個線程可能拿到相同分區的數據,而消費的順序會破壞消息本身在分區中的順序,因而擾亂 ...

Tue Sep 15 17:51:00 CST 2020 8 3028
【原創】Kafka Consumer多線程實例續篇

  在上一篇《Kafka Consumer多線程實例》中我們討論了KafkaConsumer多線程的兩種寫法:多KafkaConsumer多線程以及單KafkaConsumer多線程。在第二種用法中我 ...

Wed Jun 28 23:33:00 CST 2017 6 7409
Kafka consumer group位移重設

  本文闡述如何使用Kafka自帶的kafka-consumer-groups.sh腳本隨意設置消費者組(consumer group)的位移。需要特別強調的是, 這是0.11.0.0版本提供的新功能 ...

Fri Aug 04 22:56:00 CST 2017 4 5202
Kafka 2.6新功能:消費者主動觸發Rebalance

Kafka 2.6引入的新功能:消費者能夠主動觸發Rebalance。一直以來,Rebalance的觸發都是由Coordinator來執行的,但有些場景下消費者端能夠主動觸發Rebalance會很有必 ...

Fri Jul 10 19:04:00 CST 2020 0 1735
Java API獲取consumer group最新提交位移的時間

碰到了有人問起這個問題,目前java consumer沒有利用OffsetAndMetadata中的metadata字段記錄提交的時間,故直接通過java consumer來查詢是不行,我們需要直接讀 ...

Thu Jan 03 19:52:00 CST 2019 14 864

 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM