首先需要思考下边几个问题： 消息丢失是什么造成的，从生产端和消费端两个角度来考虑 消息重复是什么造成的，从生产端和消费端两个角度来考虑 如何保证消息有序 如果保证消息不重不漏，损失的是什么 大概总结下 消费端重复消费：建立去重表 消费端丢失数据：关闭自动提交offset，处理完之后 ...

（同步）存活保证数据安全 3）从消费端：关闭自动提交，使用手动提交。 数据不重复消费 1）生产端 ...

目录 1. Kafka消息投递语义-消息不丢失，不重复，不丢不重 1.1. 介绍 1.2. Producer 消息生产者端 1.3. Broker 消息接收端 1.4. Consumer ...

我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了 Kafka 的核心架构原理。 Kafka 分布式存储架构 那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台 ...

背景 这里的kafka值得是broker,broker消息丢失的边界需要对齐一下： 1 已经提交的消息 2 有限度的持久化 如果消息没提交成功，并不是broke丢失了消息； 有限度的持久化（broker可用） 生产者丢失消息 producer.send(Object msg ...

kafka的结构如下： 一、生产者 　　1、生产者（Producer）使用send方法 发送消息是异步的，所以可以通过get方法或回调函数拿到调用的结果。如果失败了，可以重试。 　　 重试次数可以稍微大些，比如5次。间隔可以稍微长些。 二、消费者 ...

一、如何保证百万级写入速度： 目录 1、页缓存技术 + 磁盘顺序写 2、零拷贝技术 3、最后的总结 “这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。 Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好 ...

如果觉得本文对您有帮助，不妨扫描下方微信二维码打赏点，您的鼓励是我前进最大的动力： ...