0x00 概述 本文主要講Kafka自身操作日志的清理方法(非Topic數據)，Topic數據自己有對應的刪除策略，請看這里。 Kafka長時間運行過程中，在kafka/logs目錄下產生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和時間 ...

由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況為了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日志，中間關聯的很多東西需要手動同時去清理，否則可能會導致刪除后客戶端無法消費的情況。 在介紹 ...

由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況為了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日志，中間關聯的很多東西需要手動同時去清理，否則可能會導致刪除后客戶端無法消費的情況。 在介紹手動 ...

topic中partition存儲分布 Topic在邏輯上可以被認為是一個queue。每條消費都必須指定它的topic，可以簡單理解為必須指明把這條消息放進哪個queue里。為了使得 Kafka的吞吐率可以水平擴展，物理上把topic分成一個或多個partition，每個partition ...

前言 Kafka將消息存儲在磁盤中，為了控制磁盤占用空間。kafka中每個分區副本都對應一個Log，而Log對應多個日志分段，這樣有利日志清理操作。Kafka提供兩種日志清理策略： 日志刪除（Log retention）：按一定的保留的策略直接刪除不符條件的日志分段； 日志壓縮 ...

背景問題： 使用kafka的路上踩過不少坑，其中一個就是在測試環境使用kafka一陣子以后，發現其日志目錄變的很大，占了磁盤很大空間，定位到指定目錄下發現其中一個系統自動創建的 topic，__consumer_offsets-45（kafka一共創建了50個分別從0~49標識）文件夾很大，上網 ...

概述 日志段及其相關代碼是 Kafka 服務器源碼中最為重要的組件代碼之一。你可能會非常關心，在 Kafka 中，消息是如何被保存和組織在一起的。畢竟，不管是學習任何消息引擎，弄明白消息建模方式都是首要的問題。因此，你非常有必要學習日志段這個重要的子模塊的源碼實現。今天，我會帶你詳細看下日志段 ...

0x00 概述 kafka將topic分成不同的partitions，每個partition的日志分成不同的segments，最后以segment為單位將陳舊的日志從文件系統刪除。 假設kafka的在server.properity文件中設置的日志目錄為tmp/kafka-logs，對於名為 ...