1.大量消息在mq里積壓了幾個小時了還沒解決 場景:幾千萬條數據在MQ里積壓了七八個小時,從下午4點多,積壓到了晚上很晚,10點多,11點多。線上故障了,這個時候要不然就是修復consumer的問題,讓他恢復消費速度,然后傻傻的等待幾個小時消費完畢。這個肯定不行。一個消費者一秒是1000條,一秒 ...
Q:剛開始是對這個疑問抱有質疑態度的,因為使用消息隊列的其中目的就是削峰填谷,來避免高流量時,對下游服務的沖擊,所以使用消息隊列進行緩沖,下游根據自己的消費能力去消費, 我感覺這就是消息積壓本就是使用消息隊列的功能,怎么會是問題呢 A:首先消息積壓是正常現象,但凡是過多就不正常了。積壓越來越多就需要處理了。就像一個水庫,日常蓄水是正常的,但下游泄洪能力太差,導致水庫水位一直不停的上漲,這個就不正 ...
2020-02-08 20:16 0 2130 推薦指數:
1.大量消息在mq里積壓了幾個小時了還沒解決 場景:幾千萬條數據在MQ里積壓了七八個小時,從下午4點多,積壓到了晚上很晚,10點多,11點多。線上故障了,這個時候要不然就是修復consumer的問題,讓他恢復消費速度,然后傻傻的等待幾個小時消費完畢。這個肯定不行。一個消費者一秒是1000條,一秒 ...
1、場景:上千萬條消息在mq里積壓了幾個小時了還沒解決 2、解決: 1)先修復consumer的問題,確保其恢復消費速度,然后將現有cnosumer都停掉 ...
轉載:消息隊列消息積壓了怎么辦? 作者: 以夢為碼 Q:剛開始是對這個疑問抱有質疑態度的,因為使用消息隊列的其中目的就是削峰填谷,來避免高流量時,對下游服務的沖擊,所以使用消息隊列進行緩沖,下游根據自己的消費能力去消費, 我感覺這就是消息積壓本就是使用消息隊列的功能,怎么會是問題 ...
大量消息在mq里積壓了幾個小時了還沒解決 幾千萬條數據在MQ里積壓了七八個小時,最簡單的方法可以讓他恢復消費速度,然后等待幾個小時消費完畢。 一個消費者一秒是1000條,一秒3個消費者是3000條,一分鍾是18萬條,1000多萬條 ,所以如果你積壓了幾百萬到上 ...
隊列的有序性來驗證是否有消息丟失。原理非常簡單,在 Producer 端,我們給每個發出的消息附加一個 ...
大量消息在 mq 里積壓了幾個小時了還沒解決 幾千萬條數據在 MQ 里積壓了七八個小時,從下午 4 點多,積壓到了晚上 11 點多。這個是我們真實遇到過的一個場景,確實是線上故障了,這個時候要不然就是修復 consumer 的問題,讓它恢復消費速度,然后傻傻的等待幾個小時消費完畢。這個肯定不能在 ...
據我了解,在使用消息隊列遇到的問題中,消息積壓這個問題,應該是最常遇到的問題了,並且,這個問題 還不太好解決。 我們都知道,消息積壓的直接原因,一定是系統中的某個部分出現了性能問題,來不及處理上游發送的消 息,才會導致消息積壓 ...
...