Kafka作為當下流行的高並發消息中間件，大量用於數據采集，實時處理等場景，我們在享受他的高並發，高可靠時，還是不得不面對可能存在的問題，最常見的就是丟包，重發問題。 1、丟包問題：消息推送服務，每天早上，手機上各終端都會給用戶推送消息，這時候流量劇增，可能會出現kafka發送數據過快，導致 ...

Kafka重復消費原因 底層根本原因：已經消費了數據，但是offset沒提交。 原因1：強行kill線程，導致消費后的數據，offset沒有提交。 原因2：設置offset為自動提交，關閉kafka時，如果在close之前，調用 consumer.unsubscribe ...

Kafka如何保證數據不重復消費，不丟失數據 不重復消費： 1.冪等操作，重復消費不會產生問題 2. dstream.foreachRDD {(rdd, time) = rdd.foreachPartition { partitionIterator => val ...

近段時間學習極客時間李玥老師的后端存儲實戰課時，看到一個很多意思的東西：用kafka存儲點擊流的數據，並重復處理。在以往的使用中，kafka只是一個消息傳輸的載體，消息被消費后就不能再次消費。新知識與印象相沖突，於是就有了本篇文章：kafka數據如何被重復消費。 前期理論了解 首先我先去官網 ...

我們暫且不考慮寫磁盤的具體過程，先大致看看下面的圖，這代表了 Kafka 的核心架構原理。 Kafka 分布式存儲架構 那么現在問題來了，如果每天產生幾十 TB 的數據，難道都寫一台 ...

消費者與分區的對應關系總結 消費者數據重復問題說明 生產者的可靠性保證 ...

記錄下和kafka相關的語義、不重復消息、不丟失數據、分區有序的內容，文中很多理解參考文末博文、書籍還有某前輩。 kafka語義 kafka中有三種語義，它對理解下面的不重復消費有幫助。 最多一次（at most once）：消息最多被處理一次，可能有消息丟失的風險。 至少一次 ...

（同步）存活保證數據安全 3）從消費端：關閉自動提交，使用手動提交。 數據不重復消費 1）生產端 ...