原文:如何解決消息隊列的延時及過期失效問題?

或者: 消息隊列滿了以后該怎么處理 或者: 幾百萬消息持續積壓幾小時,怎么解決 問題本質是消費端出問題了,不消費或者消費慢。 消費端出問題了,大量消息積壓在kafka里幾個小時,怎么辦 正常思路是:修復consumer的問題,讓他恢復消費,然后傻等幾個小時消費完畢 不可取,用戶等不了 實際解決方法:只能操作臨時緊急擴容: 修復consumer問題,確保其恢復消費速度,然后停掉現有consumer ...

2020-02-29 23:59 1 1139 推薦指數:

查看詳情

何解決消息隊列過期失效消息隊列的積壓問題

大量消息在 mq 里積壓了幾個小時了還沒解決 幾千萬條數據在 MQ 里積壓了七八個小時,從下午 4 點多,積壓到了晚上 11 點多。這個是我們真實遇到過的一個場景,確實是線上故障了,這個時候要不然就是修復 consumer 的問題,讓它恢復消費速度,然后傻傻的等待幾個小時消費完畢。這個肯定不能在 ...

Sat May 25 20:55:00 CST 2019 0 682
何解決消息隊列延時以及過期失效問題消息隊列滿了以后該怎么處理?有幾百萬消息持續積壓幾小時,說說怎么解決

1、面試官心里分析 你看這問法,其實本質針對的場景,都是說,可能你的消費端出了問題,不消費了,或者消費的極其極其慢。接着就坑爹了,可能你的消息隊列集群的磁盤都快寫滿了,都沒人消費,這個時候怎么辦?或者是整個這就積壓了幾個小時,你這個時候怎么辦?或者是你積壓的時間太長了,導致比如rabbitmq ...

Sat Mar 09 06:47:00 CST 2019 0 532
消息隊列何解決消息積壓問題

轉載:消息隊列消息積壓了怎么辦? 作者: 以夢為碼   Q:剛開始是對這個疑問抱有質疑態度的,因為使用消息隊列的其中目的就是削峰填谷,來避免高流量時,對下游服務的沖擊,所以使用消息隊列進行緩沖,下游根據自己的消費能力去消費, 我感覺這就是消息積壓本就是使用消息隊列的功能,怎么會是問題 ...

Fri Jun 05 08:25:00 CST 2020 0 1720
消息隊列何解決消息一致性問題

典型消息中間件的架構 消息中間件的價值:就是異步、解耦合、簡單化分布式系統,減輕業務和數據庫的負擔,業務只需要最簡單的事情系統解耦合、減輕了系統的依賴 一般來講,設計消息隊列的整體思路是先構建一個整體的數據流,例如Producer發送給Broker,Broker發送給consumer ...

Tue Aug 30 19:11:00 CST 2016 0 1503
RabbitMQ 延時消息隊列

一、簡述 二、示例demo 單個延遲隊列 多個延遲隊列 一、簡述 延時消息在日常隨處可見: 1、訂單創建10min之后不發起支付,自動取消。 2、30min定時推送一次郵件信息。 最常用到方式為定時任務輪訓,數據量小的時候使用沒什么問題 而當有千萬甚至上 ...

Mon Jul 02 02:42:00 CST 2018 2 15578
RabbitMQ 延時消息隊列

消息延時在日常隨處可見: 1、訂單創建10min之后不發起支付,自動取消。 2、30min定時推送一次郵件信息。 最常用到方式后台定時任務輪訓,量小的時候可以使用,量大會出現數據讀取會性能問題。RabbitMQ並沒有直接實現延時隊列,但是可以利用RabbitMQ兩個屬性實現延時隊列特性 ...

Sat Jun 15 07:39:00 CST 2019 0 583
何解決Redis中的key過期問題

最近我們在Redis集群中發現了一個有趣的問題。在花費大量時間進行調試和測試后,通過更改key過期,我們可以將某些集群中的Redis內存使用量減少25 ...

Thu Apr 25 18:51:00 CST 2019 0 1318
消息隊列適合解決問題

本次請求的秒殺結果后,就可以馬上給用戶返回響應,然后把請求的數據放入消息隊列中,由消息隊列異步地進行后續的操 ...

Mon Aug 19 23:29:00 CST 2019 0 1278
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM