由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況為了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日志，中間關聯的很多東西需要手動同時去清理，否則可能會導致刪除后客戶端無法消費的情況。 在介紹 ...

由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況為了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日志，中間關聯的很多東西需要手動同時去清理，否則可能會導致刪除后客戶端無法消費的情況。 在介紹手動 ...

一、概述 生產環境中，有一個topic的數據量非常大。這些數據不是非常重要，需要定期清理。 要求：默認保持24小時，某些topic 需要保留2小時或者6小時 二、清除方式 主要有3個： 1. 基於時間 2. 基於日志大小 3. 基於日志起始偏移量 詳情，請參考鏈接 ...

通過原生kafka，查看對應的topic是否有數據 下載kafka：登錄Apache kafka官方下載 http://kafka.apache.org/downloads.html 配置config文件 vim server.properties 啟動kafka ...

一、概述 生產環境中，有一個topic的數據量非常大。這些數據不是非常重要，需要定期清理。 要求：默認保持24小時，某些topic 需要保留2小時或者6小時 二、清除方式 主要有3個： 1. ...

...

消費者要從頭開始消費某個topic的全量數據，需要滿足2個條件（spring-kafka）： 對應的spring-kafka消費者客戶端配置參數為： 注意：從kafka-0.9版本及以后，kafka的消費者組和offset信息就不存zookeeper ...

消費者要從頭開始消費某個topic的全量數據，需要滿足2個條件（spring-kafka）： 對應的spring-kafka消費者客戶端配置參數為： 注意：從kafka-0.9版本及以后，kafka的消費者組和offset信息就不存zookeeper ...