如何保證kafka消息不丟失
背景 這里的kafka值得是broker,broker消息丟失的邊界需要對齊一下： 1 已經提交的消息 2 有限度的持久化 如果消息沒提交成功，並不是broke丟失了消息； 有限度的持久化（broker可用） 生產者丟失消息 producer.send(Object msg ...
原文：今天面試總結，關於kafka 保證消息不丟失問題
kafka 保證消息不丟失。原因如下有： 生產者如果異步發送，會造成消息丟失，發送的過程中kafka會先把消息緩存起來。然后批量發送。 若批量發送之前client宕機會造成消息丟失。生產者不丟失消息需要同步發送 kafka服務器默認異步刷盤，先刷到系統頁緩存，然后再刷新到日志文件。頁緩存的數據可能會丟失。解決可以同步的方式刷盤，但是這樣效率很低，比rabbitmq低。 對於我說的第二點有點問題。在 ...
2018-07-16 22:04 0 6373 推薦指數：
相關推薦
kafka如何保證消息不丟失
kafka的結構如下： 一、生產者 1、生產者（Producer）使用send方法 發送消息是異步的，所以可以通過get方法或回調函數拿到調用的結果。如果失敗了，可以重試。 重試次數可以稍微大些，比如5次。間隔可以稍微長些。 二、消費者 ...
Kafka消息保證不丟失和重復消費問題
如果覺得本文對您有幫助，不妨掃描下方微信二維碼打賞點，您的鼓勵是我前進最大的動力： ...
Kafka如何保證消息不丟失不重復
首先需要思考下邊幾個問題： 消息丟失是什么造成的，從生產端和消費端兩個角度來考慮 消息重復是什么造成的，從生產端和消費端兩個角度來考慮 如何保證消息有序 如果保證消息不重不漏，損失的是什么 大概總結下 消費端重復消費：建立去重表 消費端丟失數據：關閉自動提交offset，處理完之后 ...
Kafka如何保證消息不丟失不重復
轉載：https://blog.csdn.net/matrix_google/article/details/79888144 首先要考慮這么幾個問題： 消息丟失是什么造成的，從生產端和消費端兩個角度來考慮 消息重復是什么造成的，從生產端和消費端兩個角度來考慮 ...
Kafka如何保證數據不丟失
Kafka如何保證數據不丟失 1.生產者數據的不丟失 kafka的ack機制：在kafka發送數據的時候，每次發送消息都會有一個確認反饋機制，確保消息正常的能夠被收到，其中狀態有0,1，-1。 如果是同步模式：ack機制能夠保證數據的不丟失，如果ack設置為0，風險很大，一般不建議設置 ...
kafka 如何保證數據不丟失
一般我們在用到這種消息中件的時候，肯定會考慮要怎樣才能保證數據不丟失，在面試中也會問到相關的問題。但凡遇到這種問題，是指3個方面的數據不丟失，即：producer consumer 端數據不丟失 broker端數據不丟失下面我們分別從這三個方面來學習，kafka是如何保證數據不丟失 ...
kafka 如何保證數據不丟失
一般我們在用到這種消息中件的時候，肯定會考慮要怎樣才能保證數據不丟失，在面試中也會問到相關的問題。但凡遇到這種問題，是指3個方面的數據不丟失，即：producer consumer 端數據不丟失 broker端數據不丟失下面我們分別從這三個方面來學習，kafka是如何保證數據不丟失 ...