關於Kafka日志留存(log retention)策略的介紹，網上已有很多文章。不過目前其策略已然發生了一些變化，故本文針對較新版本的Kafka做一次統一的討論。如果沒有顯式說明，本文一律以Kafka 1.0.0作為分析對象。 所謂日志留存策略，就是Kafka保存topic數據的規則 ...

0x00 概述 kafka將topic分成不同的partitions，每個partition的日志分成不同的segments，最后以segment為單位將陳舊的日志從文件系統刪除。 假設kafka的在server.properity文件中設置的日志目錄為tmp/kafka-logs，對於名為 ...

一、Kafka 數據日志 1.主題 Topic 　　Topic 是邏輯概念。 　　主題類似於分類，也可以理解為一個消息的集合。每一條發送到 Kafka 的消息都會帶上一個主題信息，表明屬於哪個主題。 　　Kafka 的主題是支持多用戶訂閱的，即一個主題可以有零個、一個或者多個消費者來訂閱 ...

Log Cleanup 簡介 在Kafka中，存在數據過期的機制，稱為data expire。如何處理過期數據是根據指定的policy（策略）決定的，而處理過期數據的行為，即為log cleanup。 在Kafka中有以下幾種處理過期數據的策略 ...

Redis如何淘汰過期的keys： set name wx 3600 惰性刪除 定時刪除 定期刪除 Redis服務器實際使用的是惰性刪除和定期刪除兩種策略：通過配合使用這兩種刪除策略，服務器可以很好地在合理使用CPU時間和避免浪費內存空間之間取得平衡。 惰性刪除策略是怎么實現 ...

為什么分區？ kafka有topic的概念，它是承載真實數據的邏輯容器，而在主題之下還分為若干個分區，也就是說kafka的消息組織方式實際上是三級結構：主題-分區-消息。主題下的每條消息只會保存在某個分區中，而不會在多個分區中被保存多份。 其實分區的作用就是提供負載均衡的能力，不同的分區 ...

kafka 分區策略 1.指明partition的情況下，直接將指明的值作為partition值； 例如partition=0，所有數據寫入分區02.沒有指明partition值但有key的情況下，將key的hash值與topic的partition數進行取余得到partition值 ...

單線程消費 以之前生產者中的代碼為例，事先准備好了一個 Topic:data-push，3個分區。 先往里邊發送 100 條消息，沒有自定義路由策略，所以消息會均勻的發往三個分區。 先來談談最簡單的單線程消費，如下圖所示： 由於數據散列在三個不同分區，所以單個線程需要遍歷三個分區將數據 ...