kafka 清理策略配置


記一次生產KAFKA記錄 清理策略的調整*

	在網上查了好多資料,都說kafak默認清理是7天,但實際生產環境數據一直在堆積,沒有清理。
然后在本地搭建了kafka集群,各種配置策略全部嘗試了一下,最終確定要達到清理效果,如下幾個配置必須有:
##保留時間
log.retention.hours=72

##日志滾動的周期時間,到達指定周期時間時,強制生成一個新的segment
log.roll.hours=72

##Kafka的日志實際上是開始是在緩存中的,然后根據策略定期一批一批寫入到日志文件中去,以提高吞吐率。
##消息達到多少條時將數據寫入到日志文件	默認10000	
log.flush.interval.messages=5000


##日志清理保存的策略只有delete和compact兩種,默認delete	
log.cleanup.polict=delete

##日志文件被真正刪除前的保留時間,默認60000
log.segment.delete.delay.ms=60000

##每隔一段時間多久調用一次清理的步驟,默認10
log.cleanup.interval.mins=10

# topic刪除要保證此屬性為true
delete.topic.enable=true


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM