大量消息在 mq 里积压了几个小时了还没解决 几千万条数据在 MQ 里积压了七八个小时,从下午 4 点多,积压到了晚上 11 点多。这个是我们真实遇到过的一个场景,确实是线上故障了,这个时候要不然就是修复 consumer 的问题,让它恢复消费速度,然后傻傻的等待几个小时消费完毕。这个肯定不能在 ...
或者: 消息队列满了以后该怎么处理 或者: 几百万消息持续积压几小时,怎么解决 问题本质是消费端出问题了,不消费或者消费慢。 消费端出问题了,大量消息积压在kafka里几个小时,怎么办 正常思路是:修复consumer的问题,让他恢复消费,然后傻等几个小时消费完毕 不可取,用户等不了 实际解决方法:只能操作临时紧急扩容: 修复consumer问题,确保其恢复消费速度,然后停掉现有consumer ...
2020-02-29 23:59 1 1139 推荐指数:
大量消息在 mq 里积压了几个小时了还没解决 几千万条数据在 MQ 里积压了七八个小时,从下午 4 点多,积压到了晚上 11 点多。这个是我们真实遇到过的一个场景,确实是线上故障了,这个时候要不然就是修复 consumer 的问题,让它恢复消费速度,然后傻傻的等待几个小时消费完毕。这个肯定不能在 ...
1、面试官心里分析 你看这问法,其实本质针对的场景,都是说,可能你的消费端出了问题,不消费了,或者消费的极其极其慢。接着就坑爹了,可能你的消息队列集群的磁盘都快写满了,都没人消费,这个时候怎么办?或者是整个这就积压了几个小时,你这个时候怎么办?或者是你积压的时间太长了,导致比如rabbitmq ...
转载:消息队列消息积压了怎么办? 作者: 以梦为码 Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费, 我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题 ...
典型消息中间件的架构 消息中间件的价值:就是异步、解耦合、简单化分布式系统,减轻业务和数据库的负担,业务只需要最简单的事情系统解耦合、减轻了系统的依赖 一般来讲,设计消息队列的整体思路是先构建一个整体的数据流,例如Producer发送给Broker,Broker发送给consumer ...
一、简述 二、示例demo 单个延迟队列 多个延迟队列 一、简述 延时消息在日常随处可见: 1、订单创建10min之后不发起支付,自动取消。 2、30min定时推送一次邮件信息。 最常用到方式为定时任务轮训,数据量小的时候使用没什么问题 而当有千万甚至上 ...
消息延时在日常随处可见: 1、订单创建10min之后不发起支付,自动取消。 2、30min定时推送一次邮件信息。 最常用到方式后台定时任务轮训,量小的时候可以使用,量大会出现数据读取会性能问题。RabbitMQ并没有直接实现延时队列,但是可以利用RabbitMQ两个属性实现延时队列特性 ...
最近我们在Redis集群中发现了一个有趣的问题。在花费大量时间进行调试和测试后,通过更改key过期,我们可以将某些集群中的Redis内存使用量减少25 ...
本次请求的秒杀结果后,就可以马上给用户返回响应,然后把请求的数据放入消息队列中,由消息队列异步地进行后续的操 ...