一、認識 Kafka Kafka 是分布式發布-訂閱消息系統。它最初由 LinkedIn 公司開發，之后成為 Apache 項目的一部分。 Kafka 是一個分布式的，可划分的，冗余備份的持久性的日志服務。它主要用於處理活躍的流式數據。 1. kafka 架構 Kafka ...

1、Kafka消息丟失的情況： （1）auto.commit.enable=true，消費端自動提交offersets設置為true，當消費者拉到消息之后，還沒有處理完 commit interval 提交間隔就到了，提交了offersets。這時consummer又掛了，重啟后，從下 ...

背景 這里的kafka值得是broker,broker消息丟失的邊界需要對齊一下： 1 已經提交的消息 2 有限度的持久化 如果消息沒提交成功，並不是broke丟失了消息； 有限度的持久化（broker可用） 生產者丟失消息 producer.send(Object msg ...

kafka的結構如下： 一、生產者 　　1、生產者（Producer）使用send方法 發送消息是異步的，所以可以通過get方法或回調函數拿到調用的結果。如果失敗了，可以重試。 　　 重試次數可以稍微大些，比如5次。間隔可以稍微長些。 二、消費者 ...

Kafka到底會不會丟數據(data loss)? 通常不會，但有些情況下的確有可能會發生。下面的參數配置及Best practice列表可以較好地保證數據的持久性(當然是trade-off，犧牲了吞吐量)。筆者會在該列表之后對列表中的每一項進行討論，有興趣的同學可以看下后面的分析 ...

首先需要思考下邊幾個問題： 消息丟失是什么造成的，從生產端和消費端兩個角度來考慮 消息重復是什么造成的，從生產端和消費端兩個角度來考慮 如何保證消息有序 如果保證消息不重不漏，損失的是什么 大概總結下 消費端重復消費：建立去重表 消費端丟失數據：關閉自動提交offset，處理完之后 ...

1、Kafka消息丟失的情況： （1）auto.commit.enable=true，消費端自動提交offersets設置為true，當消費者拉到消息之后，還沒有處理完 commit interval 提交間隔就到了，提交了offersets。這時consummer又掛了，重啟后，從下 ...

Kafka無消息丟失配置 Kafka到底會不會丟數據(data loss)? 網上各種說法都有，在回答這個問題之前， 我們要明確“責任邊界”。所謂責任邊界就是要確定消息在生產和消費的完整流程中是由誰來負責，確保它不會丟失。這樣即使真的出現了消息丟失，也能明確是責任主體 ...