關於Kafka java consumer管理TCP連接的討論
本篇是《關於Kafka producer管理TCP連接的討論》的續篇，主要討論Kafka java consumer是如何管理TCP連接。實際上，這兩篇大部分的內容是相同的，即consumer也是把TCP連接的管理交由底層的Selector類 ...
原文：關於Kafka __consumer_offests的討論
眾所周知， consumer offsets是一個內部topic，對用戶而言是透明的，除了它的數據文件以及偶爾在日志中出現這兩點之外，用戶一般是感覺不到這個topic的。不過我們的確知道它保存的是Kafka新版本consumer的位移信息。本文我們簡單梳理一下這個內部topic 以 . . 代碼為分析對象 一 何時被創建 首先，我們先來看下 它是何時被創建的 consumer offsets創建的 ...
2018-01-19 16:05 0 7672 推薦指數：
相關推薦
Kafka Consumer
python小例-生產、消費 生產 消費 基本用法 指定分區、offset、消費組 注：因指定了分區、偏移量，不會消費分區為2的 ...
Kafka – kafka consumer
pollOnce 看下fetcher 創建時， 可以看出對應的配置 fetcher.fetchedRecord ...
關於Kafka配額的討論(1)
Kafka自0.9.0.0版本引入了配額管理(quota management)，旨在broker端對clients發送請求進行限流(throttling)。目前Kafka支持兩大類配額管理： 網絡帶寬（network bandwidth）配額管理：定義帶寬閾值來限制請求發送速率，閾值單位 ...
關於Kafka high watermark的討論2
之前寫過一篇關於Kafka High watermark的文章，引起的討論不少：有贊揚之聲，但更多的是針對文中的內容被challenge，於是下定決心找個晚上熬夜再看了一遍，昨晚挑燈通讀了一遍確實發現不少錯誤。鑒於此我決定再寫一篇博客重新梳理一下最新版本中High watermark（下稱HW ...
關於Kafka broker IO的討論
Apache Kafka是大量使用磁盤和頁緩存(page cache)的，特別是對page cache的應用被視為是Kafka實現高吞吐量的重要因素之一。實際場景中用戶調整page cache的手段並不太多，更多的還是通過管理好broker端的IO來間接影響page cache從而實現高吞吐量 ...
關於Kafka監控方案的討論
之前在知乎上嘗試過回答這個問題，后來問的人挺多，干脆在博客里面保存一下。 目前Kafka監控方案看似很多，然而並沒有一個“大而全”的通用解決方案。各家框架也是各有千秋，以下是我了解到的一些內容： Kafka manager Github地址： https://github.com ...
[Kafka] - Kafka Java Consumer實現(二)
Kafka提供了兩種Consumer API，分別是：High Level Consumer API 和 Lower Level Consumer API(Simple Consumer API) High Level Consumer API：高度抽象的Kafka消費者API；將底層具體獲取 ...