...

进入kafka配置文件，修改 server.properties 文件。 ...

项目中最近使用kafka需要定时清理消息，我们知道kafka有周期性清理消息机制,但是项目中往往因为数据量较大，需要手动控制分区已消费消息的清理。 此处使用的是反编译程序，具体几个方法已标出， 个人清理想法：大致流程就是根据topic获取所有的分区，然后根据遍历每个分区的偏移量，然后存入 ...

Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。 数据清理的方式 删除 log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指定时间清理 ...

前言 Kafka将消息存储在磁盘中，为了控制磁盘占用空间。kafka中每个分区副本都对应一个Log，而Log对应多个日志分段，这样有利日志清理操作。Kafka提供两种日志清理策略： 日志删除（Log retention）：按一定的保留的策略直接删除不符条件的日志分段； 日志压缩 ...

背景问题： 使用kafka的路上踩过不少坑，其中一个就是在测试环境使用kafka一阵子以后，发现其日志目录变的很大，占了磁盘很大空间，定位到指定目录下发现其中一个系统自动创建的 topic，__consumer_offsets-45（kafka一共创建了50个分别从0~49标识）文件夹很大，上网 ...

一，有三种不同的删除策略（1），立即清理。在设置键的过期时间时，创建一个回调事件，当过期时间达到时，由时间处理器自动执行键的删除操作。 （2），惰性清理。键过期了就过期了，不管。当读/写一个已经过期的key时，会触发惰性删除策略，直接删除掉这个过期key （3），定期清理。每隔一段时间 ...

为什么分区？ kafka有topic的概念，它是承载真实数据的逻辑容器，而在主题之下还分为若干个分区，也就是说kafka的消息组织方式实际上是三级结构：主题-分区-消息。主题下的每条消息只会保存在某个分区中，而不会在多个分区中被保存多份。 其实分区的作用就是提供负载均衡的能力，不同的分区 ...