原文地址:https://www.jianshu.com/p/4b8cc505a69b rabbitmq的shovel功能 很多时候线上rabbitmq的队列会出现消息堆积,消息堆积的时候可以通过后期优化代码逻辑或者增加消费者的实例数去解决。 但是后期的代码优化在面临紧急情况时总归 ...
面试官心里分析 你看这问法,其实本质针对的场景,都是说,可能你的消费端出了问题,不消费了,或者消费的极其极其慢。接着就坑爹了,可能你的消息队列集群的磁盘都快写满了,都没人消费,这个时候怎么办 或者是整个这就积压了几个小时,你这个时候怎么办 或者是你积压的时间太长了,导致比如rabbitmq设置了消息过期时间后就没了怎么办 所以就这事儿,其实线上挺常见的,一般不出,一出就是大case,一般常见于, ...
2019-03-08 22:47 0 532 推荐指数:
原文地址:https://www.jianshu.com/p/4b8cc505a69b rabbitmq的shovel功能 很多时候线上rabbitmq的队列会出现消息堆积,消息堆积的时候可以通过后期优化代码逻辑或者增加消费者的实例数去解决。 但是后期的代码优化在面临紧急情况时总归 ...
大量消息在 mq 里积压了几个小时了还没解决 几千万条数据在 MQ 里积压了七八个小时,从下午 4 点多,积压到了晚上 11 点多。这个是我们真实遇到过的一个场景,确实是线上故障了,这个时候要不然就是修复 consumer 的问题,让它恢复消费速度,然后傻傻的等待几个小时消费完毕。这个肯定不能在 ...
的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决? 二、 ...
或者: 消息队列满了以后该怎么处理? 或者: 几百万消息持续积压几小时,怎么解决? 问题本质是消费端出问题了,不消费或者消费慢。 1、消费端出问题了,大量消息积压在kafka里几个小时,怎么办? 正常思路是:修复consumer的问题,让他恢复消费,然后傻等几个小时消费完毕 ...
转载:消息队列消息积压了怎么办? 作者: 以梦为码 Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费, 我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题 ...
大量消息在mq里积压了几个小时了还没解决 几千万条数据在MQ里积压了七八个小时,最简单的方法可以让他恢复消费速度,然后等待几个小时消费完毕。 一个消费者一秒是1000条,一秒3个消费者是3000条,一分钟是18万条,1000多万条 ,所以如果你积压了几百万到上 ...
典型消息中间件的架构 消息中间件的价值:就是异步、解耦合、简单化分布式系统,减轻业务和数据库的负担,业务只需要最简单的事情系统解耦合、减轻了系统的依赖 一般来讲,设计消息队列的整体思路是先构建一个整体的数据流,例如Producer发送给Broker,Broker发送给consumer ...
Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费, 我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题呢? A:首先消息积压是正常现象,但凡是过多 ...