kafka 有幾種數據保留的策略


kafka 有兩種數據保存策略:

1、按照過期時間保留

2、按照存儲的消息大小保留

Kafka Broker默認的消息保留策略是:要么保留一定時間,要么保留到消息達到一定大小的字節數。

當消息達到設置的條件上限時,舊消息就會過期並被刪除,所以,在任何時刻,可用消息的總量都不會超過配置參數所指定的大小。

topic可以配置自己的保留策略,可以將消息保留到不再使用他們為止。

因為在一個大文件里查找和刪除消息是很費時的事,也容易出錯,所以,分區被划分為若干個片段。默認情況下,每個片段包含1G或者一周的數據,以較小的那個為准。在broker往leader分區寫入消息時,如果達到片段上限,就關閉當前文件,並打開一個新文件。當前正在寫入數據的片段叫活躍片段。當所有片段都被寫滿時,會清除下一個分區片段的數據,如果配置的是7個片段,每天打開一個新片段,就會刪除一個最老的片段,循環使用所有片段。

kafka 同時設置了 7 天和 10G 清除數據,到第五天的時候消息達到了 10G,這個時候 kafka 將如何處理? 這個時候 kafka 會執行數據清除工作,時間和大小不論那個滿足條件,都會清空數據。

關鍵詞:大數據培訓


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM