Kafka集群管理和監控方案之Kafka Manager
https://blog.frognew.com/2019/07/kafka-manager.html 1.Kafka監控方案簡介 前面我們已經在k8s上使用incubator/kafka chart部署了Kafka。本篇來聊聊kafka的管理和監控。 關於kafka的監控方案 ...
原文：關於Kafka監控方案的討論
之前在知乎上嘗試過回答這個問題，后來問的人挺多，干脆在博客里面保存一下。 目前Kafka監控方案看似很多，然而並沒有一個 大而全 的通用解決方案。各家框架也是各有千秋，以下是我了解到的一些內容： Kafka manager Github地址： https: github.com yahoo kafka manager。 這款監控框架的好處在於監控內容相對豐富，既能夠實現broker級常見的JMX監 ...
2018-05-23 09:32 3 5226 推薦指數：
相關推薦
關於Kafka配額的討論(1)
Kafka自0.9.0.0版本引入了配額管理(quota management)，旨在broker端對clients發送請求進行限流(throttling)。目前Kafka支持兩大類配額管理： 網絡帶寬（network bandwidth）配額管理：定義帶寬閾值來限制請求發送速率，閾值單位 ...
關於Kafka high watermark的討論2
之前寫過一篇關於Kafka High watermark的文章，引起的討論不少：有贊揚之聲，但更多的是針對文中的內容被challenge，於是下定決心找個晚上熬夜再看了一遍，昨晚挑燈通讀了一遍確實發現不少錯誤。鑒於此我決定再寫一篇博客重新梳理一下最新版本中High watermark（下稱HW ...
關於Kafka broker IO的討論
Apache Kafka是大量使用磁盤和頁緩存(page cache)的，特別是對page cache的應用被視為是Kafka實現高吞吐量的重要因素之一。實際場景中用戶調整page cache的手段並不太多，更多的還是通過管理好broker端的IO來間接影響page cache從而實現高吞吐量 ...
關於Kafka冪等producer的討論
眾所周知，Kafka 0.11.0.0版本正式支持精確一次處理語義(exactly once semantics，下稱EOS)。Kafka的EOS主要體現在3個方面： 冪等producer：保證發送單個分區的消息只會發送一次，不會出現重復消息 事務(transaction)：保證 ...
關於Kafka Fetch Session的討論
Kafka在1.1.0版本引入了fetch session的概念，旨在降低“無效”FETCH請求對集群帶寬資源的占用。故事的背景是這樣的： 眾所周知，Kafka的broker和consumer都會定期地向leader broker發送FETCH請求去獲取數據。對於分區數很多的topic ...
關於Kafka __consumer_offests的討論
眾所周知，__consumer__offsets是一個內部topic，對用戶而言是透明的，除了它的數據文件以及偶爾在日志中出現這兩點之外，用戶一般是感覺不到這個topic的。不過我們的確知道它保存的是Kafka新版本consumer的位移信息。本文我們簡單梳理一下這個內部topic(以1.0.0 ...
關於Kafka日志留存策略的討論
關於Kafka日志留存(log retention)策略的介紹，網上已有很多文章。不過目前其策略已然發生了一些變化，故本文針對較新版本的Kafka做一次統一的討論。如果沒有顯式說明，本文一律以Kafka 1.0.0作為分析對象。 所謂日志留存策略，就是Kafka保存topic數據的規則 ...