原文:RabbitMQ消息隊列里積壓很多消息

場景:上千萬條消息在mq里積壓了幾個小時了還沒解決 解決: 先修復consumer的問題,確保其恢復消費速度,然后將現有cnosumer都停掉 新建一個topic,partition是原來的 倍,臨時建立好原先 倍或者 倍的 queue數量 然后寫一個臨時的分發數據的consumer程序,這個程序部署上去消費積壓的數據, 消費之后不做耗時的處理,直接均勻輪詢寫入臨時建立好的 倍數量的 queue ...

2019-02-21 10:53 2 5698 推薦指數:

查看詳情

關於MQ的幾件小事(六)消息積壓消息隊列怎么辦

1.大量消息在mq積壓了幾個小時了還沒解決 場景:幾千萬條數據在MQ積壓了七八個小時,從下午4點多,積壓到了晚上很晚,10點多,11點多。線上故障了,這個時候要不然就是修復consumer的問題,讓他恢復消費速度,然后傻傻的等待幾個小時消費完畢。這個肯定不行。一個消費者一秒是1000條,一秒 ...

Thu May 23 05:57:00 CST 2019 0 4875
消息隊列消息積壓了怎么辦?

     Q:剛開始是對這個疑問抱有質疑態度的,因為使用消息隊列的其中目的就是削峰填谷,來避免高流量時,對下游服務的沖擊,所以使用消息隊列進行緩沖,下游根據自己的消費能力去消費, 我感覺這就是消息積壓本就是使用消息隊列的功能,怎么會是問題呢?   A:首先消息積壓是正常現象,但凡是過多 ...

Sun Feb 09 04:16:00 CST 2020 0 2130
RabbitMQ如何保證消息的順序性+解決消息積壓+設計消息隊列中間件

一、如何保證消息的順序性 啥?我該怎么保證從消息隊列拿到的數據按順序執行。 這是MQ面試必問的問題之一。第一看看你了解不了解順序這個事,第二看看你有沒有辦法保證消息是有序的。這是生成環境中常見的問題。 mysql的binlog同步。在mysql增刪改3條binlog。接着這三條 ...

Fri Nov 05 19:09:00 CST 2021 0 1532
消息隊列如何解決消息積壓問題

轉載:消息隊列消息積壓了怎么辦? 作者: 以夢為碼   Q:剛開始是對這個疑問抱有質疑態度的,因為使用消息隊列的其中目的就是削峰填谷,來避免高流量時,對下游服務的沖擊,所以使用消息隊列進行緩沖,下游根據自己的消費能力去消費, 我感覺這就是消息積壓本就是使用消息隊列的功能,怎么會是問題 ...

Fri Jun 05 08:25:00 CST 2020 0 1720
RabbitMQ消息積壓的幾種解決思路

在日常工作中使用RabbitMQ偶爾會遇不可預料的情況導致的消息積壓,一般出現消息積壓基本上分為幾種情況: 消費者消費消息的速度趕不上生產速度,這總問題主要是業務邏輯沒設計好消費者和生產者之間的平衡,需要改業務流程或邏輯已保證消費度跟上生產消息的速,譬如增加消費者的數量 ...

Thu Sep 17 06:31:00 CST 2020 2 13254
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM