原文:關於MQ的幾件小事(六)消息積壓在消息隊列里怎么辦

.大量消息在mq里積壓了幾個小時了還沒解決 場景:幾千萬條數據在MQ里積壓了七八個小時,從下午 點多,積壓到了晚上很晚, 點多, 點多。線上故障了,這個時候要不然就是修復consumer的問題,讓他恢復消費速度,然后傻傻的等待幾個小時消費完畢。這個肯定不行。一個消費者一秒是 條,一秒 個消費者是 條,一分鍾是 萬條, 多萬條。 所以如果你積壓了幾百萬到上千萬的數據,即使消費者恢復了,也需要大概 ...

2019-05-22 21:57 0 4875 推薦指數:

查看詳情

關於MQ幾件小事(一)消息隊列的用途、優缺點、技術選型

1.為什么使用消息隊列? (1)解耦:可以在多個系統之間進行解耦,將原本通過網絡之間的調用的方式改為使用MQ進行消息的異步通訊,只要該操作不是需要同步的,就可以改為使用MQ進行不同系統之間的聯系,這樣項目之間不會存在耦合,系統之間不會產生太大的影響,就算一個系統掛了,也只是消息壓在MQ里面沒人 ...

Thu May 23 05:53:00 CST 2019 1 843
關於MQ幾件小事消息隊列的用途、優缺點、技術選型

原文:https://www.cnblogs.com/jack1995/p/10908789.html 1.為什么使用消息隊列? (1)解耦:可以在多個系統之間進行解耦,將原本通過網絡之間的調用的方式改為使用MQ進行消息的異步通訊,只要該操作不是需要同步的,就可以改為使用MQ進行不同系 ...

Wed Jun 26 20:29:00 CST 2019 0 1253
消息隊列消息積壓了怎么

     Q:剛開始是對這個疑問抱有質疑態度的,因為使用消息隊列的其中目的就是削峰填谷,來避免高流量時,對下游服務的沖擊,所以使用消息隊列進行緩沖,下游根據自己的消費能力去消費, 我感覺這就是消息積壓本就是使用消息隊列的功能,怎么會是問題呢?   A:首先消息積壓是正常現象,但凡是過多 ...

Sun Feb 09 04:16:00 CST 2020 0 2130
關於MQ幾件小事(五)如何保證消息按順序執行

1.為什么要保證順序 消息隊列中的若干消息如果是對同一個數據進行操作,這些操作具有前后的關系,必須要按前后的順序執行,否則就會造成數據異常。舉例: 比如通過mysql binlog進行兩個數據庫的數據同步,由於對數據庫的數據操作是具有順序性的,如果操作順序搞反,就會造成不可估量的錯誤。比如數 ...

Thu May 23 05:56:00 CST 2019 0 3014
關於MQ幾件小事(四)如何保證消息不丟失

1.mq原則 數據不能多,也不能少,不能多是說消息不能重復消費,這個我們上一節已解決;不能少,就是說不能丟失數據。如果mq傳遞的是非常核心的消息,支撐核心的業務,那么這種場景是一定不能丟失數據的。 2.丟失數據場景 丟數據一般分為兩種,一種是mq消息丟了,一種就是消費時將消息丟了。下面 ...

Thu May 23 05:55:00 CST 2019 0 2408
RabbitMQ消息隊列積壓很多消息

1、場景:上千萬條消息mq積壓了幾個小時了還沒解決 2、解決: 1)先修復consumer的問題,確保其恢復消費速度,然后將現有cnosumer都停掉 ...

Thu Feb 21 18:53:00 CST 2019 2 5698
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM