Kafka日志清除策略
一、更改日志輸出級別 config/log4j.properties中日志的級別設置的是TRACE，在長時間運行過程中產生的日志大小嚇人，所以如果沒有特殊需求，強烈建議將其更改成INFO級別。具體修改方法如下所示，將config/log4j.properties文件中最后的幾行中的TRACE ...
原文：關於Kafka日志留存策略的討論
關於Kafka日志留存 log retention 策略的介紹，網上已有很多文章。不過目前其策略已然發生了一些變化，故本文針對較新版本的Kafka做一次統一的討論。如果沒有顯式說明，本文一律以Kafka . . 作為分析對象。 所謂日志留存策略，就是Kafka保存topic數據的規則，我將按照以下幾個方面分別介紹留存策略： 留存策略類型 留存機制及其工作原理 一 留存策略類型 目前，與日志留存方式 ...
2017-12-15 13:48 1 4435 推薦指數：
相關推薦
Kafka學習筆記之Kafka日志刪出策略
0x00 概述 kafka將topic分成不同的partitions，每個partition的日志分成不同的segments，最后以segment為單位將陳舊的日志從文件系統刪除。 假設kafka的在server.properity文件中設置的日志目錄為tmp/kafka-logs，對於名為 ...
關於Kafka配額的討論(1)
Kafka自0.9.0.0版本引入了配額管理(quota management)，旨在broker端對clients發送請求進行限流(throttling)。目前Kafka支持兩大類配額管理： 網絡帶寬（network bandwidth）配額管理：定義帶寬閾值來限制請求發送速率，閾值單位 ...
關於Kafka high watermark的討論2
之前寫過一篇關於Kafka High watermark的文章，引起的討論不少：有贊揚之聲，但更多的是針對文中的內容被challenge，於是下定決心找個晚上熬夜再看了一遍，昨晚挑燈通讀了一遍確實發現不少錯誤。鑒於此我決定再寫一篇博客重新梳理一下最新版本中High watermark（下稱HW ...
關於Kafka broker IO的討論
Apache Kafka是大量使用磁盤和頁緩存(page cache)的，特別是對page cache的應用被視為是Kafka實現高吞吐量的重要因素之一。實際場景中用戶調整page cache的手段並不太多，更多的還是通過管理好broker端的IO來間接影響page cache從而實現高吞吐量 ...
關於Kafka監控方案的討論
之前在知乎上嘗試過回答這個問題，后來問的人挺多，干脆在博客里面保存一下。 目前Kafka監控方案看似很多，然而並沒有一個“大而全”的通用解決方案。各家框架也是各有千秋，以下是我了解到的一些內容： Kafka manager Github地址： https://github.com ...
關於Kafka冪等producer的討論
眾所周知，Kafka 0.11.0.0版本正式支持精確一次處理語義(exactly once semantics，下稱EOS)。Kafka的EOS主要體現在3個方面： 冪等producer：保證發送單個分區的消息只會發送一次，不會出現重復消息 事務(transaction)：保證 ...
關於Kafka Fetch Session的討論
Kafka在1.1.0版本引入了fetch session的概念，旨在降低“無效”FETCH請求對集群帶寬資源的占用。故事的背景是這樣的： 眾所周知，Kafka的broker和consumer都會定期地向leader broker發送FETCH請求去獲取數據。對於分區數很多的topic ...