消息隊列RabbitMQ和ActiveMQ的生產者流量控制

本文轉載自查看原文 2012-08-25 18:35 15709 算法/ 雜項/ ActiveMQ

20120825 鄭昀

Q：MQ 們為什么要做生產者流量控制？

A：麻煩就在於：『像 Erlang 的虛擬機實現和設計上都沒有阻止用戶往一個進程的消息隊列里扔消息，當消息的生產速度過快，超過進程的處理能力時，這些消息就堆積起來，占用越來愈多的內存，最終導致VM崩潰。』

Q：我為什么要知道 MQ 在做生產者流量控制？

A：當你發現自家的 Producers 動輒被掛起或被阻塞時，你要知道該調 Consumer 的消費速率，還是調 Memory Threshold of MQ 。

一，RabbitMQ 2.8.0+的流量控制

http://www.rabbitmq.com/img/rabbitmq_logo_strap.png

RabbitMQ 2.8.0+引入了一個新特性“internal flow control”。

至此 RabbitMQ 有三種流量控制：

1.1. Per-Connection Flow Control

是面向每一個連接做的流量控制。

即，RabbitMQ 會主動阻塞（Block）那些發布消息太快的連接（Connections），無需做任何配置。

如果連接被阻塞了，那么它在 rabbitmqctl 控制台上會顯示一個blocked的狀態。

RabbitMQ 的流量控制機制是基於信用證(Credit)的擁塞控制機制，后面鄭昀會在附錄A中列出這個古老控制機制的詳細介紹。

1.2. Memory-Based Flow Control

RabbitMQ 會在啟動時檢測機器的物理內存數值。默認當 MQ 占用 40% 以上內存時，MQ 會主動拋出一個內存警告並阻塞所有連接（Connections）。

你也可以通過修改 rabbitmq.config 文件來調整內存閾值，默認值是 0.4，如下所示：

[{rabbit, [{vm_memory_high_watermark, 0.4}]}].

當 MQ 啟動時，該內存閾值也會寫入到 RABBITMQ_NODENAME.log 文件里，如下所示：

Memory limit set to 2048MB.

如果 MQ Server 不能識別你的系統，或者你在用 Windows 系統，那么它會寫一個警告信息到 RABBITMQ_NODENAME.log 文件里，如下所示：

=WARNING REPORT==== 29-Oct-2009::17:23:44 ===
Unknown total memory size for your OS {unix,magic_homebrew_os}. Assuming memory size is 1024MB.

1.3. Disk-Based Flow Control

默認情況，如果剩余磁盤空間在 1GB 以下，RabbitMQ 主動阻塞所有的生產者。這個閾值也是可調的。

二，Apache ActiveMQ 的流量控制

2.1. ActiveMQ 的生產者流量控制的觸發條件有三個：

不管 mq 有無做持久化配置：

！ActiveMQ所使用的內存到達 memoryUsage 配置值，默認值64MB；

如果 mq 做了持久化配置：

！要打開了useCache開關，表明要將持久化消息緩存起來以便快速訪問，默認是True；
！緩存在內存中消息總字節數到達 memoryLimit 配置值，默認值是1MB。

2.2. 觸發之后會導致：

生產者調用發送消息函數時被Stuck（卡住）。

（注：關鍵詞 activemq+stuck+producer 或 activemq+block+producer）

附錄A

一，基於信用證(Credit)的擁塞控制機制

1993年，ATM領域開始尋找一種可以動態分配帶寬並防止信元丟失的傳輸機制。因此提出了ABR（Available Bit Rate，可用比特率）業務，ABR 不強制網絡為其分配固定的帶寬，網絡通過反饋信息動態調整分配給每個 ABR 連接的帶寬。很多專家都投入到 ABR 業務的擁塞控制規范研究上。

基於 Credit 的方案由哈佛大學的H．T．Kung教授首先提出，采用鏈路級流控機制，以單一鏈路或虛電路VC作為基本的控制單位。每條鏈路有一個信元發送節點（可以是一個源端或一個交換節點）和一個接收節點（可以是一個交換節點或一個目的端系統），每個節點為每一條VC維持一個排隊隊列，信元接收端監視每條VC的排隊隊列長度，決定發送端可以發到VC上的信元數量（用信用證通知），信元發送端只能發送信用證值所允許的最大信元數量，如果只有一條VC，則信用證的值應足夠大，以充分利用鏈路的帶寬。一般來說，信用證值應滿足下列條件：信用證值大於等於鏈路信元速率乘以鏈路來回程傳輸時延。