我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了 Kafka 的核心架构原理。 Kafka 分布式存储架构 那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台 ...

一 重复消息 为什么会出现消息重复？消息重复的原因有两个：1.生产时消息重复，2.消费时消息重复。 1.1 生产时消息重复 由于生产者发送消息给MQ，在MQ确认的时候出现了网络波动，生产者没有收到确认，实际上MQ已经接收到了消息。这时候生产者就会重新发送一遍这条消息。 生产者中如果消息未被 ...

一 重复消息 为什么会出现消息重复？消息重复的原因有两个：1.生产时消息重复，2.消费时消息重复。 1.1 生产时消息重复 由于生产者发送消息给MQ，在MQ确认的时候出现了网络波动，生产者没有收到确认，实际上MQ已经接收到了消息。这时候生产者就会重新发送一遍这条消息。 生产者中如果消息未被 ...

1.幂等性 幂等（idempotent、idempotence）是一个数学与计算机学概念，常见于抽象代数中。 在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态 ...

（同步）存活保证数据安全 3）从消费端：关闭自动提交，使用手动提交。 数据不重复消费 1）生产端 ...

一、如何保证百万级写入速度： 目录 1、页缓存技术 + 磁盘顺序写 2、零拷贝技术 3、最后的总结 “这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。 Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好 ...

正文前先来一波福利推荐： 福利一： 百万年薪架构师视频，该视频可以学到很多东西，是本人花钱买的VIP课程，学习消化了一年，为了支持一下女朋友公众号也方便大家学习，共享给大家。 福利二： 毕业 ...

RabbitMQ中的queue（队列）中的消息只能被一个消费者所消费，然后消费者在消费消息的过程中是无序的。这很像我们小时候下课去小卖铺买东西,大家总是一窝蜂涌到小卖铺,谁先结账是随机的,有可能是小红或者小明; RabbitMQ为了保证消费有序;将一个queue拆分为了多个queue,这样一来 ...