目錄 1. Kafka消息投遞語義-消息不丟失，不重復，不丟不重 1.1. 介紹 1.2. Producer 消息生產者端 1.3. Broker 消息接收端 1.4. Consumer ...

本系列主要講解kafka基本設計和原理分析，分如下內容： 基本概念 消息模型 kafka副本同步機制 kafka文件存儲機制 kafka數據可靠性和一致性保證 kafka leader選舉 kafka消息傳遞語義 Kafka集群partitions ...

我們都知道Kafka的吞吐量很大，但是Kafka究竟會不會丟失消息呢？又會不會重復消費消息呢？ ​ 有很多公司因為業務要求必須保證消息不丟失、不重復的到達，比如無人機實時監控系統，當無人機闖入機場區域，我們必須立刻報警，不允許消息丟失。而無人機離開禁飛區域后我們需要將及時報警解除。如果消息 ...

在很多的流處理框架的介紹中，都會說kafka是一個可靠的數據源，並且推薦使用Kafka當作數據源來進行使用。這是因為與其他消息引擎系統相比，kafka提供了可靠的數據保存及備份機制。並且通過消費者位移這一概念，可以讓消費者在因某些原因宕機而重啟后，可以輕易得回到宕機前的位置。 但其實kafka ...

引言 所謂的消費語義，指的就是如下三種情況 如何保證消息最多消費一次 如何保證消息至少消費一次 如何保證消息恰好消費一次 其實類似還有一個投遞語義 如何保證消息最多投遞一次 如何保證消息至少投遞一次 如何保證消息恰好投遞一次 說句實在話，其實還是老問題 ...

1、前言 IM App 是我做過 App 類型里復雜度最高的一類，里面可供深究探討的技術難點非常之多。這篇文章和大家聊下從移動端客戶端的角度所關注的IM消息可靠性和送達機制（因為我個人對移動客戶端的經驗積累的比較豐富嘛）。 學習交流： - 即時通訊開發交流群：320837163[推薦 ...

一、消息傳遞語義：三種，至少一次，至多一次，精確一次 1、at lest once：消息不丟，但可能重復 2、at most once：消息會丟，但不會重復 3、Exactly Once：消息不丟，也不重復。 二、數據一致性保證：保證消息不丟、消息不重復 消息不丟：副本機制+ack ...

Kafka 0.11.x版本（對應 Confluent Platform 3.3），該版本引入了exactly-once語義。 精確一次確實很難實現（Exactly-once is a really hard problem） Mathias Verraes說，分布式系統中最難解決的兩個問題是 ...