mq消息堆積處理


1.大量消息在mq里積壓

場景:幾千萬條數據在MQ里積壓了七八個小時,從下午4點多,積壓到了晚上很晚,10點多,11點多。線上故障了,這個時候要不然就是修復consumer的問題,讓他恢復消費速度,然后傻傻的等待幾個小時消費完畢。這個肯定不行。一個消費者一秒是1000條,一秒3個消費者是3000條,一分鍾是18萬條,1000多萬條。
所以如果你積壓了幾百萬到上千萬的數據,即使消費者恢復了,也需要大概1小時的時間才能恢復過來。
解決方案:”
這種時候只能操作臨時擴容,以更快的速度去消費數據了。具體操作步驟和思路如下:
①先修復consumer的問題,確保其恢復消費速度,然后將現有consumer都停掉。

②臨時建立好原先10倍或者20倍的queue數量(新建一個topic,partition是原來的10倍)。

③然后寫一個臨時分發消息的consumer程序,這個程序部署上去消費積壓的消息,消費之后不做耗時處理,直接均勻輪詢寫入臨時建好分10數量的queue里面。

④緊接着征用10倍的機器來部署consumer,每一批consumer消費一個臨時queue的消息。

⑤這種做法相當於臨時將queue資源和consumer資源擴大10倍,以正常速度的10倍來消費消息。

⑥等快速消費完了之后,恢復原來的部署架構,重新用原來的consumer機器來消費消息。

2.消息設置了過期時間,過期就丟了

假設你用的是rabbitmq,rabbitmq是可以設置過期時間的,就是TTL,如果消息在queue中積壓超過一定的時間就會被rabbitmq給清理掉,這個數據就沒了。那這就是第二個坑了。這就不是說數據會大量積壓在mq里,而是大量的數據會直接搞丟。
解決方案:
這種情況下,實際上沒有什么消息擠壓,而是丟了大量的消息。所以第一種增加consumer肯定不適用。
這種情況可以采取 “批量重導” 的方案來進行解決。
在流量低峰期(比如夜深人靜時),寫一個程序,手動去查詢丟失的那部分數據,然后將消息重新發送到mq里面,把丟失的數據重新補回來。

3.積壓消息長時間沒有處理,mq放不下了

如果走的方式是消息積壓在mq里,那么如果你很長時間都沒處理掉,此時導致mq都快寫滿了,咋辦?這個還有別的辦法嗎?
解決方案:
這個就沒有辦法了,肯定是第一方案執行太慢,這種時候只好采用 “丟棄+批量重導” 的方式來解決了。

首先,臨時寫個程序,連接到mq里面消費數據,收到消息之后直接將其丟棄,快速消費掉積壓的消息,降低MQ的壓力,然后走第二種方案,在晚上夜深人靜時去手動查詢重導丟失的這部分數據。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM