原文:如何解决消息队列的延时及过期失效问题?

或者: 消息队列满了以后该怎么处理 或者: 几百万消息持续积压几小时,怎么解决 问题本质是消费端出问题了,不消费或者消费慢。 消费端出问题了,大量消息积压在kafka里几个小时,怎么办 正常思路是:修复consumer的问题,让他恢复消费,然后傻等几个小时消费完毕 不可取,用户等不了 实际解决方法:只能操作临时紧急扩容: 修复consumer问题,确保其恢复消费速度,然后停掉现有consumer ...

2020-02-29 23:59 1 1139 推荐指数:

查看详情

何解决消息队列过期失效消息队列的积压问题

大量消息在 mq 里积压了几个小时了还没解决 几千万条数据在 MQ 里积压了七八个小时,从下午 4 点多,积压到了晚上 11 点多。这个是我们真实遇到过的一个场景,确实是线上故障了,这个时候要不然就是修复 consumer 的问题,让它恢复消费速度,然后傻傻的等待几个小时消费完毕。这个肯定不能在 ...

Sat May 25 20:55:00 CST 2019 0 682
何解决消息队列延时以及过期失效问题消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决

1、面试官心里分析 你看这问法,其实本质针对的场景,都是说,可能你的消费端出了问题,不消费了,或者消费的极其极其慢。接着就坑爹了,可能你的消息队列集群的磁盘都快写满了,都没人消费,这个时候怎么办?或者是整个这就积压了几个小时,你这个时候怎么办?或者是你积压的时间太长了,导致比如rabbitmq ...

Sat Mar 09 06:47:00 CST 2019 0 532
消息队列何解决消息积压问题

转载:消息队列消息积压了怎么办? 作者: 以梦为码   Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费, 我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题 ...

Fri Jun 05 08:25:00 CST 2020 0 1720
消息队列何解决消息一致性问题

典型消息中间件的架构 消息中间件的价值:就是异步、解耦合、简单化分布式系统,减轻业务和数据库的负担,业务只需要最简单的事情系统解耦合、减轻了系统的依赖 一般来讲,设计消息队列的整体思路是先构建一个整体的数据流,例如Producer发送给Broker,Broker发送给consumer ...

Tue Aug 30 19:11:00 CST 2016 0 1503
RabbitMQ 延时消息队列

一、简述 二、示例demo 单个延迟队列 多个延迟队列 一、简述 延时消息在日常随处可见: 1、订单创建10min之后不发起支付,自动取消。 2、30min定时推送一次邮件信息。 最常用到方式为定时任务轮训,数据量小的时候使用没什么问题 而当有千万甚至上 ...

Mon Jul 02 02:42:00 CST 2018 2 15578
RabbitMQ 延时消息队列

消息延时在日常随处可见: 1、订单创建10min之后不发起支付,自动取消。 2、30min定时推送一次邮件信息。 最常用到方式后台定时任务轮训,量小的时候可以使用,量大会出现数据读取会性能问题。RabbitMQ并没有直接实现延时队列,但是可以利用RabbitMQ两个属性实现延时队列特性 ...

Sat Jun 15 07:39:00 CST 2019 0 583
何解决Redis中的key过期问题

最近我们在Redis集群中发现了一个有趣的问题。在花费大量时间进行调试和测试后,通过更改key过期,我们可以将某些集群中的Redis内存使用量减少25 ...

Thu Apr 25 18:51:00 CST 2019 0 1318
消息队列适合解决问题

本次请求的秒杀结果后,就可以马上给用户返回响应,然后把请求的数据放入消息队列中,由消息队列异步地进行后续的操 ...

Mon Aug 19 23:29:00 CST 2019 0 1278
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM