shell脚本并发数据到kafka topic 需求： 每秒发送大量数据到kafka，验证下游系统性能，数据中的时间戳要求为当前时间，可以之间采集系统当前时间替换文件中旧的时间戳，保证每次发送的数据都为最新时间。 利用kafka自带的脚本，将待发数据写入文件中，然后通过读取文件 方式，将数据 ...

一、概述 生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。 要求：默认保持24小时，某些topic 需要保留2小时或者6小时 二、清除方式 主要有3个： 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情，请参考链接 ...

一、概述 生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。 要求：默认保持24小时，某些topic 需要保留2小时或者6小时 二、清除方式 主要有3个： 1. ...

...

由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍 ...

1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录 2、Kafka 删除topic的命令是： ./bin/kafka-topics --delete --zookeeper ...

前言： 删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法 ...

前言：删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法 ...