前言： 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题： 消息的顺序问题 消息的重复问题 RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件，它是怎样来解决这两个问题 ...

1. 使用幂等操作 乐观锁：每个数据有一个版本号，和当前版本号相同的时候进行更新 去重表（缓存）： 唯一性索引，如果已经存在值了就不行更新 2. 算法 两个链表是否相交？ 3.redis 集合相交的实现？ ...

https://www.jianshu.com/p/8a5630e2c317 https://www.jianshu.com/p/4491cba335d1 ...

目录 六、消息的重复消费问题 1.什么幂等性 1）在请求方式中的幂等性的体现 2）在消息队列中的幂等性体现 2.业务代码中实现幂等性 1）生产者端修改配置文件 ...

kafka消息顺序 我们知道，kafka是一个高性能、分布式容错的消息发布-订阅系统，现在kafka也能处理流数据了。多个生产者在往kafka发送数据的时候，消息的顺序是不能保障的，也就是无序的。 有些场景，比如在用maxwell解析mysql的binlog日志的时候，发送到kafka，后面 ...

1.为什么要保证顺序 消息队列中的若干消息如果是对同一个数据进行操作，这些操作具有前后的关系，必须要按前后的顺序执行，否则就会造成数据异常。举例： 比如通过mysql binlog进行两个数据库的数据同步，由于对数据库的数据操作是具有顺序性的，如果操作顺序搞反，就会造成不可估量的错误。比如数 ...

MQ系列1：消息中间件执行原理 MQ系列2：消息中间件的技术选型 MQ系列3：RocketMQ 架构分析 MQ系列4：NameServer 原理解析 MQ系列5：RocketMQ消息的发送模式 MQ系列6：消息的消费 MQ系列7：消息通信，追求极致性能 MQ系列8：数据存储，消息队列的高可用保障 ...

想想为什么要使用MQ？ 1.解耦，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻烦！ 2.异步，将消息写入消息队列，非必要的业务逻辑以异步的方式运行，加快响应速度 3.削峰，并发量大的时候，所有的请求直接怼到数据库，造成数据库连接异常 使用 ...