...

進入kafka配置文件，修改 server.properties 文件。 ...

項目中最近使用kafka需要定時清理消息，我們知道kafka有周期性清理消息機制,但是項目中往往因為數據量較大，需要手動控制分區已消費消息的清理。 此處使用的是反編譯程序，具體幾個方法已標出， 個人清理想法：大致流程就是根據topic獲取所有的分區，然后根據遍歷每個分區的偏移量，然后存入 ...

Kafka將數據持久化到了硬盤上，允許你配置一定的策略對數據清理，清理的策略有兩個，刪除和壓縮。 數據清理的方式 刪除 log.cleanup.policy=delete啟用刪除策略直接刪除，刪除后的消息不可恢復。可配置以下兩個策略：清理超過指定時間清理 ...

前言 Kafka將消息存儲在磁盤中，為了控制磁盤占用空間。kafka中每個分區副本都對應一個Log，而Log對應多個日志分段，這樣有利日志清理操作。Kafka提供兩種日志清理策略： 日志刪除（Log retention）：按一定的保留的策略直接刪除不符條件的日志分段； 日志壓縮 ...

背景問題： 使用kafka的路上踩過不少坑，其中一個就是在測試環境使用kafka一陣子以后，發現其日志目錄變的很大，占了磁盤很大空間，定位到指定目錄下發現其中一個系統自動創建的 topic，__consumer_offsets-45（kafka一共創建了50個分別從0~49標識）文件夾很大，上網 ...

一，有三種不同的刪除策略（1），立即清理。在設置鍵的過期時間時，創建一個回調事件，當過期時間達到時，由時間處理器自動執行鍵的刪除操作。 （2），惰性清理。鍵過期了就過期了，不管。當讀/寫一個已經過期的key時，會觸發惰性刪除策略，直接刪除掉這個過期key （3），定期清理。每隔一段時間 ...

為什么分區？ kafka有topic的概念，它是承載真實數據的邏輯容器，而在主題之下還分為若干個分區，也就是說kafka的消息組織方式實際上是三級結構：主題-分區-消息。主題下的每條消息只會保存在某個分區中，而不會在多個分區中被保存多份。 其實分區的作用就是提供負載均衡的能力，不同的分區 ...