kafka 清理策略配置


记一次生产KAFKA记录 清理策略的调整*

	在网上查了好多资料,都说kafak默认清理是7天,但实际生产环境数据一直在堆积,没有清理。
然后在本地搭建了kafka集群,各种配置策略全部尝试了一下,最终确定要达到清理效果,如下几个配置必须有:
##保留时间
log.retention.hours=72

##日志滚动的周期时间,到达指定周期时间时,强制生成一个新的segment
log.roll.hours=72

##Kafka的日志实际上是开始是在缓存中的,然后根据策略定期一批一批写入到日志文件中去,以提高吞吐率。
##消息达到多少条时将数据写入到日志文件	默认10000	
log.flush.interval.messages=5000


##日志清理保存的策略只有delete和compact两种,默认delete	
log.cleanup.polict=delete

##日志文件被真正删除前的保留时间,默认60000
log.segment.delete.delay.ms=60000

##每隔一段时间多久调用一次清理的步骤,默认10
log.cleanup.interval.mins=10

# topic删除要保证此属性为true
delete.topic.enable=true


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM