轉載:https://baijiahao.baidu.com/s?id=1583469327946027281&wfr=spider&for=pc
消息發送方式
想清楚Kafka發送的消息是否丟失,需要先了解Kafka消息的發送方式。
Kafka消息發送分同步(sync)、異步(async)兩種方式
默認是使用同步方式,可通過producer.type屬性進行配置;
Kafka保證消息被安全生產,有三個選項分別是0,1,-1
通過request.required.acks屬性進行配置:
0代表:不進行消息接收是否成功的確認(默認值);
1代表:當Leader副本接收成功后,返回接收成功確認信息;
-1代表:當Leader和Follower副本都接收成功后,返回接收成功確認信息;
六種發送場景
兩個維度相交,生成六種情況,如下圖:


消息丟失的場景
網絡異常
acks設置為0時,不和Kafka集群進行消息接受確認,當網絡發生異常等情況時,存在消息丟失的可能;
客戶端異常
異步發送時,消息並沒有直接發送至Kafka集群,而是在Client端按一定規則緩存並批量發送。在這期間,如果客戶端發生死機等情況,都會導致消息的丟失;
緩沖區滿了
異步發送時,Client端緩存的消息超出了緩沖池的大小,也存在消息丟失的可能;
Leader副本異常
acks設置為1時,Leader副本接收成功,Kafka集群就返回成功確認信息,而Follower副本可能還在同步。這時Leader副本突然出現異常,新Leader副本(原Follower副本)未能和其保持一致,就會出現消息丟失的情況;
以上就是消息丟失的幾種情況,在日常應用中,我們需要結合自身的應用場景來選擇不同的配置。
想要更高的吞吐量就設置:異步、ack=0;想要不丟失消息數據就選:同步、ack=-1策略
附:Kafka備份策略,不理解的可以看我的另一篇文章《Kafka消息的備份策略》

一個全棧程序猿的經驗分享,大家覺得有收獲的請在評論中給個鼓勵,不足之處也請多多指出;最后預祝大家開心永在,感謝您的關注。