背景问题： 使用kafka的路上踩过不少坑，其中一个就是在测试环境使用kafka一阵子以后，发现其日志目录变的很大，占了磁盘很大空间，定位到指定目录下发现其中一个系统自动创建的 topic，__consumer_offsets-45（kafka一共创建了50个分别从0~49标识）文件夹很大，上网 ...

由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍 ...

由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动 ...

Topic日志清理 server.properties： log.cleanup.policy=delete (默认) 1. 按时间维度进行Kafka日志清理 log.retention.hours=1 log.retention.minutes=60 log.retention.ms ...

Kafka-分区日志文件的清理原理 清理 一般情况下，kafka会根据设置的时间保留数据，把熬过时效的旧数据删除掉。 早于保留时间的旧事件会被删除，为每个键保留最新的值，从而达到清理的效果。只有当应用程序生成的事件里包含了键值对时，为这些主题设置compact策略才有意义。如果主题包含 ...

0x00 概述 本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。 Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间 ...

错如下： 出现问题的原因： kafka会定时清理日志 当我们的任务开始的时候，如果之前消费过某个topic， ...

项目中最近使用kafka需要定时清理消息，我们知道kafka有周期性清理消息机制,但是项目中往往因为数据量较大，需要手动控制分区已消费消息的清理。 此处使用的是反编译程序，具体几个方法已标出， 个人清理想法：大致流程就是根据topic获取所有的分区，然后根据遍历每个分区的偏移量，然后存入 ...