Kafka Fetch Session剖析
1.概述 最近有同學留言在使用Kafka的過程中遇到一些問題，比如在拉取的Topic中的數據時會拋出一些異常，今天筆者就為大家來分享一下Kafka的Fetch流程。 2.內容 2.1 背景 首先，我們來了解一下，Fetch Session的目標。Kafka在1.1.0以后的版本中優化 ...
原文：關於Kafka Fetch Session的討論
Kafka在 . . 版本引入了fetch session的概念，旨在降低 無效 FETCH請求對集群帶寬資源的占用。故事的背景是這樣的： 眾所周知，Kafka的broker和consumer都會定期地向leader broker發送FETCH請求去獲取數據。對於分區數很多的topic而言，待發送的FETCH請求就會很大，從而整體上增加網絡帶寬占用。即使這些分區沒有任何新的數據到來，followe ...
2018-07-19 14:25 1 921 推薦指數：
相關推薦
kafka消費者報錯INVALID_FETCH_SESSION_EPOCH
https://blog.csdn.net/qq_42150559/article/details/100747641 ...
關於Kafka配額的討論(1)
Kafka自0.9.0.0版本引入了配額管理(quota management)，旨在broker端對clients發送請求進行限流(throttling)。目前Kafka支持兩大類配額管理： 網絡帶寬（network bandwidth）配額管理：定義帶寬閾值來限制請求發送速率，閾值單位 ...
關於Kafka high watermark的討論2
之前寫過一篇關於Kafka High watermark的文章，引起的討論不少：有贊揚之聲，但更多的是針對文中的內容被challenge，於是下定決心找個晚上熬夜再看了一遍，昨晚挑燈通讀了一遍確實發現不少錯誤。鑒於此我決定再寫一篇博客重新梳理一下最新版本中High watermark（下稱HW ...
關於Kafka broker IO的討論
Apache Kafka是大量使用磁盤和頁緩存(page cache)的，特別是對page cache的應用被視為是Kafka實現高吞吐量的重要因素之一。實際場景中用戶調整page cache的手段並不太多，更多的還是通過管理好broker端的IO來間接影響page cache從而實現高吞吐量 ...
關於Kafka監控方案的討論
之前在知乎上嘗試過回答這個問題，后來問的人挺多，干脆在博客里面保存一下。 目前Kafka監控方案看似很多，然而並沒有一個“大而全”的通用解決方案。各家框架也是各有千秋，以下是我了解到的一些內容： Kafka manager Github地址： https://github.com ...
關於Kafka冪等producer的討論
眾所周知，Kafka 0.11.0.0版本正式支持精確一次處理語義(exactly once semantics，下稱EOS)。Kafka的EOS主要體現在3個方面： 冪等producer：保證發送單個分區的消息只會發送一次，不會出現重復消息 事務(transaction)：保證 ...
關於Kafka __consumer_offests的討論
眾所周知，__consumer__offsets是一個內部topic，對用戶而言是透明的，除了它的數據文件以及偶爾在日志中出現這兩點之外，用戶一般是感覺不到這個topic的。不過我們的確知道它保存的是Kafka新版本consumer的位移信息。本文我們簡單梳理一下這個內部topic(以1.0.0 ...