上一篇中分析了Scala版的console producer代碼，這篇文章為讀者帶來一篇console consumer工作原理分析的隨筆。其實不論是哪個consumer，大部分的工作原理都是類似的。本文利用console consumer作為切入點，既容易理解又不失一般性 ...

這里記錄kafka源代碼筆記.(代碼版本是0.8.2.1) kafka的源代碼如何下載.這里簡單說一下. 　　git clone https://git-wip-us.apache.org/repos/asf/kafka.git kafka 　　通過官網給出的鏈接clone項目代碼之后.一般 ...

這里分析Log對象本身的源代碼. Log類是一個topic分區的基礎類.一個topic分區的所有基本管理動作.都在這個對象里完成.類源代碼文件為Log.scala.在源代碼log目錄下. Log類是LogSegment的集合和管理封裝.首先看看初始化代碼. 　　上面 ...

筆者最近在研究Kafka的message包代碼，有了一些心得，特此記錄一下。其實研究的目的從來都不是只是看源代碼，更多地是想借這個機會思考幾個問題：為什么是這么實現的？你自己實現方式是什么？比起人家的實現方式，你的方案有哪些優缺點？ 任何消息引擎系統最重要的都是定義消息，使用 ...

kafka consumer是一個單純的單線程程序，因此相對於producer會更好理解些。閱讀consumer代碼的關鍵是理解回調，因為consumer中使用了大量的回調函數。參看kafka中的回調函數 1 整體流程 從KafkaConsumer#pollOnce(..)入口 ...

Kafka Consumer API是客戶端的接口，封裝了消息的接收，心跳的檢測，consumer的rebalance等，此分析的代碼基於kafka-clients-0.10.0.1 java版本 KafkaConsumer.pollOnce 是輪詢的入口，完成一次輪詢動作，包括consumer ...

上一篇《Kafka Consumer多線程實例續篇》修正了多線程提交位移的問題，但依然可能出現數據丟失的情況，原因在於多個線程可能拿到相同分區的數據，而消費的順序會破壞消息本身在分區中的順序，因而擾亂位移的提交。這次我使用KafkaConsumer的pause和resume方法來防止這種情形的發生 ...

　　Kafka 0.9版本開始推出了Java版本的consumer，優化了coordinator的設計以及擺脫了對zookeeper的依賴。社區最近也在探討正式用這套consumer API替換Scala版本的consumer的計划。鑒於目前這方面的資料並不是很多，本文將嘗試給出一個 ...