原文:RabbitMQ消息队列里积压很多消息

场景:上千万条消息在mq里积压了几个小时了还没解决 解决: 先修复consumer的问题,确保其恢复消费速度,然后将现有cnosumer都停掉 新建一个topic,partition是原来的 倍,临时建立好原先 倍或者 倍的 queue数量 然后写一个临时的分发数据的consumer程序,这个程序部署上去消费积压的数据, 消费之后不做耗时的处理,直接均匀轮询写入临时建立好的 倍数量的 queue ...

2019-02-21 10:53 2 5698 推荐指数:

查看详情

关于MQ的几件小事(六)消息积压消息队列怎么办

1.大量消息在mq积压了几个小时了还没解决 场景:几千万条数据在MQ积压了七八个小时,从下午4点多,积压到了晚上很晚,10点多,11点多。线上故障了,这个时候要不然就是修复consumer的问题,让他恢复消费速度,然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条,一秒 ...

Thu May 23 05:57:00 CST 2019 0 4875
消息队列消息积压了怎么办?

     Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费, 我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题呢?   A:首先消息积压是正常现象,但凡是过多 ...

Sun Feb 09 04:16:00 CST 2020 0 2130
RabbitMQ如何保证消息的顺序性+解决消息积压+设计消息队列中间件

一、如何保证消息的顺序性 啥?我该怎么保证从消息队列拿到的数据按顺序执行。 这是MQ面试必问的问题之一。第一看看你了解不了解顺序这个事,第二看看你有没有办法保证消息是有序的。这是生成环境中常见的问题。 mysql的binlog同步。在mysql增删改3条binlog。接着这三条 ...

Fri Nov 05 19:09:00 CST 2021 0 1532
消息队列如何解决消息积压问题

转载:消息队列消息积压了怎么办? 作者: 以梦为码   Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费, 我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题 ...

Fri Jun 05 08:25:00 CST 2020 0 1720
RabbitMQ消息积压的几种解决思路

在日常工作中使用RabbitMQ偶尔会遇不可预料的情况导致的消息积压,一般出现消息积压基本上分为几种情况: 消费者消费消息的速度赶不上生产速度,这总问题主要是业务逻辑没设计好消费者和生产者之间的平衡,需要改业务流程或逻辑已保证消费度跟上生产消息的速,譬如增加消费者的数量 ...

Thu Sep 17 06:31:00 CST 2020 2 13254
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM