原文:关于MQ的几件小事(六)消息积压在消息队列里怎么办

.大量消息在mq里积压了几个小时了还没解决 场景:几千万条数据在MQ里积压了七八个小时,从下午 点多,积压到了晚上很晚, 点多, 点多。线上故障了,这个时候要不然就是修复consumer的问题,让他恢复消费速度,然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是 条,一秒 个消费者是 条,一分钟是 万条, 多万条。 所以如果你积压了几百万到上千万的数据,即使消费者恢复了,也需要大概 ...

2019-05-22 21:57 0 4875 推荐指数:

查看详情

关于MQ几件小事(一)消息队列的用途、优缺点、技术选型

1.为什么使用消息队列? (1)解耦:可以在多个系统之间进行解耦,将原本通过网络之间的调用的方式改为使用MQ进行消息的异步通讯,只要该操作不是需要同步的,就可以改为使用MQ进行不同系统之间的联系,这样项目之间不会存在耦合,系统之间不会产生太大的影响,就算一个系统挂了,也只是消息压在MQ里面没人 ...

Thu May 23 05:53:00 CST 2019 1 843
关于MQ几件小事消息队列的用途、优缺点、技术选型

原文:https://www.cnblogs.com/jack1995/p/10908789.html 1.为什么使用消息队列? (1)解耦:可以在多个系统之间进行解耦,将原本通过网络之间的调用的方式改为使用MQ进行消息的异步通讯,只要该操作不是需要同步的,就可以改为使用MQ进行不同系 ...

Wed Jun 26 20:29:00 CST 2019 0 1253
消息队列消息积压了怎么

     Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费, 我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题呢?   A:首先消息积压是正常现象,但凡是过多 ...

Sun Feb 09 04:16:00 CST 2020 0 2130
关于MQ几件小事(五)如何保证消息按顺序执行

1.为什么要保证顺序 消息队列中的若干消息如果是对同一个数据进行操作,这些操作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。举例: 比如通过mysql binlog进行两个数据库的数据同步,由于对数据库的数据操作是具有顺序性的,如果操作顺序搞反,就会造成不可估量的错误。比如数 ...

Thu May 23 05:56:00 CST 2019 0 3014
关于MQ几件小事(四)如何保证消息不丢失

1.mq原则 数据不能多,也不能少,不能多是说消息不能重复消费,这个我们上一节已解决;不能少,就是说不能丢失数据。如果mq传递的是非常核心的消息,支撑核心的业务,那么这种场景是一定不能丢失数据的。 2.丢失数据场景 丢数据一般分为两种,一种是mq消息丢了,一种就是消费时将消息丢了。下面 ...

Thu May 23 05:55:00 CST 2019 0 2408
RabbitMQ消息队列积压很多消息

1、场景:上千万条消息mq积压了几个小时了还没解决 2、解决: 1)先修复consumer的问题,确保其恢复消费速度,然后将现有cnosumer都停掉 ...

Thu Feb 21 18:53:00 CST 2019 2 5698
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM