shell腳本並發數據到kafka topic 需求： 每秒發送大量數據到kafka，驗證下游系統性能，數據中的時間戳要求為當前時間，可以之間采集系統當前時間替換文件中舊的時間戳，保證每次發送的數據都為最新時間。 利用kafka自帶的腳本，將待發數據寫入文件中，然后通過讀取文件 方式，將數據 ...

一、概述 生產環境中，有一個topic的數據量非常大。這些數據不是非常重要，需要定期清理。 要求：默認保持24小時，某些topic 需要保留2小時或者6小時 二、清除方式 主要有3個： 1. 基於時間 2. 基於日志大小 3. 基於日志起始偏移量 詳情，請參考鏈接 ...

一、概述 生產環境中，有一個topic的數據量非常大。這些數據不是非常重要，需要定期清理。 要求：默認保持24小時，某些topic 需要保留2小時或者6小時 二、清除方式 主要有3個： 1. ...

...

由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況為了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日志，中間關聯的很多東西需要手動同時去清理，否則可能會導致刪除后客戶端無法消費的情況。 在介紹 ...

1、刪除kafka存儲目錄（server.properties文件log.dirs配置，默認為"/tmp/kafka-logs"）相關topic目錄 2、Kafka 刪除topic的命令是： ./bin/kafka-topics --delete --zookeeper ...

前言： 刪除kafka topic及其數據，嚴格來說並不是很難的操作。但是，往往給kafka 使用者帶來諸多問題。項目組之前接觸過多個開發者，發現都會偶然出現無法徹底刪除kafka的情況。本文總結多個刪除kafka topic的應用場景，總結一套刪除kafka topic的標准操作方法 ...

前言：刪除kafka topic及其數據，嚴格來說並不是很難的操作。但是，往往給kafka 使用者帶來諸多問題。項目組之前接觸過多個開發者，發現都會偶然出現無法徹底刪除kafka的情況。本文總結多個刪除kafka topic的應用場景，總結一套刪除kafka topic的標准操作方法 ...