記一次生產KAFKA記錄 清理策略的調整*
在網上查了好多資料,都說kafak默認清理是7天,但實際生產環境數據一直在堆積,沒有清理。
然后在本地搭建了kafka集群,各種配置策略全部嘗試了一下,最終確定要達到清理效果,如下幾個配置必須有:
##保留時間
log.retention.hours=72
##日志滾動的周期時間,到達指定周期時間時,強制生成一個新的segment
log.roll.hours=72
##Kafka的日志實際上是開始是在緩存中的,然后根據策略定期一批一批寫入到日志文件中去,以提高吞吐率。
##消息達到多少條時將數據寫入到日志文件 默認10000
log.flush.interval.messages=5000
##日志清理保存的策略只有delete和compact兩種,默認delete
log.cleanup.polict=delete
##日志文件被真正刪除前的保留時間,默認60000
log.segment.delete.delay.ms=60000
##每隔一段時間多久調用一次清理的步驟,默認10
log.cleanup.interval.mins=10
# topic刪除要保證此屬性為true
delete.topic.enable=true
