...
场景:上千万条消息在mq里积压了几个小时了还没解决 解决: 先修复consumer的问题,确保其恢复消费速度,然后将现有cnosumer都停掉 新建一个topic,partition是原来的 倍,临时建立好原先 倍或者 倍的 queue数量 然后写一个临时的分发数据的consumer程序,这个程序部署上去消费积压的数据, 消费之后不做耗时的处理,直接均匀轮询写入临时建立好的 倍数量的 queue ...
2019-02-21 10:53 2 5698 推荐指数:
...
1.大量消息在mq里积压了几个小时了还没解决 场景:几千万条数据在MQ里积压了七八个小时,从下午4点多,积压到了晚上很晚,10点多,11点多。线上故障了,这个时候要不然就是修复consumer的问题,让他恢复消费速度,然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条,一秒 ...
Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费, 我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题呢? A:首先消息积压是正常现象,但凡是过多 ...
一、如何保证消息的顺序性 啥?我该怎么保证从消息队列里拿到的数据按顺序执行。 这是MQ面试必问的问题之一。第一看看你了解不了解顺序这个事,第二看看你有没有办法保证消息是有序的。这是生成环境中常见的问题。 mysql的binlog同步。在mysql里增删改3条binlog。接着这三条 ...
转载:消息队列消息积压了怎么办? 作者: 以梦为码 Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费, 我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题 ...
的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决? 二、 ...
在日常工作中使用RabbitMQ偶尔会遇不可预料的情况导致的消息积压,一般出现消息积压基本上分为几种情况: 消费者消费消息的速度赶不上生产速度,这总问题主要是业务逻辑没设计好消费者和生产者之间的平衡,需要改业务流程或逻辑已保证消费度跟上生产消息的速,譬如增加消费者的数量 ...
队列的有序性来验证是否有消息丢失。原理非常简单,在 Producer 端,我们给每个发出的消息附加一个 ...