kafka消息會不會丟失


轉載:https://baijiahao.baidu.com/s?id=1583469327946027281&wfr=spider&for=pc

消息發送方式

想清楚Kafka發送的消息是否丟失,需要先了解Kafka消息的發送方式。

Kafka消息發送分同步(sync)、異步(async)兩種方式

默認是使用同步方式,可通過producer.type屬性進行配置;

Kafka保證消息被安全生產,有三個選項分別是0,1,-1

通過request.required.acks屬性進行配置:

0代表:不進行消息接收是否成功的確認(默認值);

1代表:當Leader副本接收成功后,返回接收成功確認信息;

-1代表:當Leader和Follower副本都接收成功后,返回接收成功確認信息;

六種發送場景

兩個維度相交,生成六種情況,如下圖:

消息丟失的場景

網絡異常

acks設置為0時,不和Kafka集群進行消息接受確認,當網絡發生異常等情況時,存在消息丟失的可能;

客戶端異常

異步發送時,消息並沒有直接發送至Kafka集群,而是在Client端按一定規則緩存並批量發送。在這期間,如果客戶端發生死機等情況,都會導致消息的丟失;

緩沖區滿了

異步發送時,Client端緩存的消息超出了緩沖池的大小,也存在消息丟失的可能;

Leader副本異常

acks設置為1時,Leader副本接收成功,Kafka集群就返回成功確認信息,而Follower副本可能還在同步。這時Leader副本突然出現異常,新Leader副本(原Follower副本)未能和其保持一致,就會出現消息丟失的情況;

以上就是消息丟失的幾種情況,在日常應用中,我們需要結合自身的應用場景來選擇不同的配置。

想要更高的吞吐量就設置:異步、ack=0;想要不丟失消息數據就選:同步、ack=-1策略

附:Kafka備份策略,不理解的可以看我的另一篇文章《Kafka消息的備份策略》

一個全棧程序猿的經驗分享,大家覺得有收獲的請在評論中給個鼓勵,不足之處也請多多指出;最后預祝大家開心永在,感謝您的關注。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM