目录 1. Kafka消息投递语义-消息不丢失，不重复，不丢不重 1.1. 介绍 1.2. Producer 消息生产者端 1.3. Broker 消息接收端 1.4. Consumer ...

本系列主要讲解kafka基本设计和原理分析，分如下内容： 基本概念 消息模型 kafka副本同步机制 kafka文件存储机制 kafka数据可靠性和一致性保证 kafka leader选举 kafka消息传递语义 Kafka集群partitions ...

我们都知道Kafka的吞吐量很大，但是Kafka究竟会不会丢失消息呢？又会不会重复消费消息呢？ ​ 有很多公司因为业务要求必须保证消息不丢失、不重复的到达，比如无人机实时监控系统，当无人机闯入机场区域，我们必须立刻报警，不允许消息丢失。而无人机离开禁飞区域后我们需要将及时报警解除。如果消息 ...

在很多的流处理框架的介绍中，都会说kafka是一个可靠的数据源，并且推荐使用Kafka当作数据源来进行使用。这是因为与其他消息引擎系统相比，kafka提供了可靠的数据保存及备份机制。并且通过消费者位移这一概念，可以让消费者在因某些原因宕机而重启后，可以轻易得回到宕机前的位置。 但其实kafka ...

引言 所谓的消费语义，指的就是如下三种情况 如何保证消息最多消费一次 如何保证消息至少消费一次 如何保证消息恰好消费一次 其实类似还有一个投递语义 如何保证消息最多投递一次 如何保证消息至少投递一次 如何保证消息恰好投递一次 说句实在话，其实还是老问题 ...

1、前言 IM App 是我做过 App 类型里复杂度最高的一类，里面可供深究探讨的技术难点非常之多。这篇文章和大家聊下从移动端客户端的角度所关注的IM消息可靠性和送达机制（因为我个人对移动客户端的经验积累的比较丰富嘛）。 学习交流： - 即时通讯开发交流群：320837163[推荐 ...

一、消息传递语义：三种，至少一次，至多一次，精确一次 1、at lest once：消息不丢，但可能重复 2、at most once：消息会丢，但不会重复 3、Exactly Once：消息不丢，也不重复。 二、数据一致性保证：保证消息不丢、消息不重复 消息不丢：副本机制+ack ...

Kafka 0.11.x版本（对应 Confluent Platform 3.3），该版本引入了exactly-once语义。 精确一次确实很难实现（Exactly-once is a really hard problem） Mathias Verraes说，分布式系统中最难解决的两个问题是 ...