背景問題： 使用kafka的路上踩過不少坑，其中一個就是在測試環境使用kafka一陣子以后，發現其日志目錄變的很大，占了磁盤很大空間，定位到指定目錄下發現其中一個系統自動創建的 topic，__consumer_offsets-45（kafka一共創建了50個分別從0~49標識）文件夾很大，上網 ...

由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況為了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日志，中間關聯的很多東西需要手動同時去清理，否則可能會導致刪除后客戶端無法消費的情況。 在介紹 ...

由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況為了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日志，中間關聯的很多東西需要手動同時去清理，否則可能會導致刪除后客戶端無法消費的情況。 在介紹手動 ...

Topic日志清理 server.properties： log.cleanup.policy=delete (默認) 1. 按時間維度進行Kafka日志清理 log.retention.hours=1 log.retention.minutes=60 log.retention.ms ...

Kafka-分區日志文件的清理原理 清理 一般情況下，kafka會根據設置的時間保留數據，把熬過時效的舊數據刪除掉。 早於保留時間的舊事件會被刪除，為每個鍵保留最新的值，從而達到清理的效果。只有當應用程序生成的事件里包含了鍵值對時，為這些主題設置compact策略才有意義。如果主題包含 ...

0x00 概述 本文主要講Kafka自身操作日志的清理方法(非Topic數據)，Topic數據自己有對應的刪除策略，請看這里。 Kafka長時間運行過程中，在kafka/logs目錄下產生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和時間 ...

錯如下： 出現問題的原因： kafka會定時清理日志 當我們的任務開始的時候，如果之前消費過某個topic， ...

項目中最近使用kafka需要定時清理消息，我們知道kafka有周期性清理消息機制,但是項目中往往因為數據量較大，需要手動控制分區已消費消息的清理。 此處使用的是反編譯程序，具體幾個方法已標出， 個人清理想法：大致流程就是根據topic獲取所有的分區，然后根據遍歷每個分區的偏移量，然后存入 ...