大概從 2013 年開始,我就開始了自己和 RabbitMQ 的接觸,到現在已經有七年多了。
在這七年中,既有一些對 RabbitMQ 的深度體驗,更有無數的血淚史。
而根據我這么多年的使用經驗,我將 RabbitMQ 的心得形成一些提醒或者規范分享給大家,這樣,大家以后使用 RabbitMQ 的時候,就不會再走我走過的彎路了。
我想把我這些關於 RabbitMQ 的經驗和心得,分成三篇來寫:
- 開發前的規范;
- 開發中的注意事項;
- 以及 MQ 本身的優化。
這次咱們先從開發前的規范開始談起。
我曾經一直都很奇怪,為何大家使用開發語言有開發規范,使用數據庫有數據庫規范,但是使用 MQ 卻很少見一些規范。
使用 MQ 缺少規范,這是普遍的問題?還只是我身邊的個例?
不管答案是哪個,在 RabbitMQ 使用時,為了避免在開發中少出現問題,為了事半功倍,都需要提前規范好一些配置和事項。
1. 一個 RabbitMQ 應用里建立多個 vhost,去對應不同的開發項目
我們在使用數據庫的時候,會在一個數據庫應用里建立多個不同的數據庫去給不同的項目使用,而不用在不同的服務器專門每個項目都安裝個數據庫應用。
在 RabbitMQ 的 vhost,也是類似的理念。
vhost 本質上是一個 mini 版的 RabbitMQ 服務器,擁有自己的隊列、綁定、交換器和權限控制,當在 RabbitMQ 中創建一個用戶時,用戶通常會被指派給至少一個 vhost,並且只能訪問被指派 vhost 內的隊列、交換器和綁定,vhost 之間是絕對隔離的。
所以,不同的 vhost 對應不同的項目,互不影響,而這些 vhost 其實都是在一台主機一個 RabbitMQ 應用上。
但是,現在的狀況是大部分使用 RabbitMQ 的技術團隊往往就使用默認的 vhost:“/”,如果多出一個項目了,就再去創建一個 RabbitMQ 的進程。這樣做,非常浪費開發資源。
推薦一個項目對應一個 vhost。
2. 不直接使用 RabbitMQ 自己的客戶端
很多公司使用 RabbitMQ 都是直接使用 RabbitMQ 自己的 java 版本客戶端,但是由於 RabbitMQ 本身內在的復雜性和多樣性,有很多技術細節需要獨自處理。
比如網絡連接的處理,比如異常的處理,比如消息失敗的處理等等等。這些,如果手頭沒有一套成熟的框架,那么很可能由於一些細節處理不到位,導致非常多的問題,這都是不必要的成本。
所以,要么使用一套已有的 RabbitMQ 客戶端框架(比如 Spring 的 RabbitMQ 框架),要么自己封裝出一套底層 RabbitMQ 客戶端框架,而不是單獨使用 RabbitMQ 的客戶端
3. 無論如何消費者必須給回 ACK 響應
ACK 機制就是消費者從 RabbitMQ 收到消息並處理完成后,反饋給 RabbitMQ,然后 RabbitMQ 收到反饋后才將此消息從隊列中刪除。
由於 ACK 機制本身必須回復給 RabbitMQ,消息才會丟棄這個特點。對於何時給 ACK,我們做開發的時候一定要在開發項目前提前規划好、設計好。
我們使用 RabbitMQ 通常不想在收到消息就立即給回 ACK 的,也不會設置 autoACK 機制即消費端收到自動返回一個 ACK 響應。一般來講,我們都會根據業務邏輯的不同,會在不同的位置手動返回 ACK。
這時候,就可能出現問題:當收到消息,有時候處理業務邏輯報錯了,往往在處理完業務邏輯就會忽略 ACK,這會導致消息始終卡死在 queue 里……如果數量越來越多,后續處理非常麻煩。
4. 考慮設置 dead letter exchanges
為什么那么多人不設置 dead letter exchanges?這是我非常疑惑的點。
出去和各類使用 RabbitMQ 的項目團隊交流,發現很少人設置了 dead letter exchanges。這個是有問題的。
我們得知道,有時候消息投遞出錯,並不總是在應用接收的時候出了問題,會有很多非應用的問題。比如:
-
消費端有問題,發出的消息被拒絕了。並且我們也設置了 requeue=false;
-
消息可能因為沒有收到 ACK 超時被刪除,或者消費端消費速度跟不上導致消息超時被刪除;
-
消息數量超過了隊列最大長度限制被拋棄;
-
消息總大小超過了隊列消息總大小限制被拋棄。
對於這些問題,設置 dead letter exchanges 算是一個解決辦法。
當消息一旦出現我上面列舉出來的情況,就會被發送到我們設置的 dead letter exchanges。然后我們就可以對這些特殊情況的消息進行單獨處理,這樣的做法可以讓我們的項目更健壯,更容易追蹤問題。
5. 盡量使用 Direct Exchange
RabbitMQ 的Exchange 就是消息交換機,它指定消息按什么規則,路由到哪個隊列。
這家伙有四種類型:
-
Direct:處理路由鍵,需要將一個隊列綁定到交換機上,要求該消息與一個特定的路由鍵完全匹配。這是一個完整的匹配。如果一個隊列綁定到該交換機上要求路由鍵為“green”,則只有路由鍵為“green”的消息才被轉發,不會轉發路由鍵為"red",只會轉發路由鍵為“green”。
-
Topic:將路由鍵和某模式進行匹配。此時隊列需要綁定要一個模式上。符號“#”匹配一個或多個詞,符號“*”只能匹配一個詞。
-
Fanout:不處理路由鍵。你只需要簡單的將隊列綁定到交換機上。一個發送到該類型交換機的消息都會被廣播到與該交換機綁定的所有隊列上。
-
Headers:不處理路由鍵,而是根據發送的消息內容中的 headers 屬性進行匹配。在綁定 Queue 與 Exchange 時指定一組鍵值對;當消息發送到 RabbitMQ 時會取到該消息的 headers 與 Exchange 綁定時指定的鍵值對進行匹配;如果完全匹配則消息會路由到該隊列,否則不會路由到該隊列。
在這四種類型里,Direct 類型的 Exchange 投遞消息是最快的。其他的 Exchange,MQ 還得花時間計算投遞的位置。
所以,能使用 Direct 類型的建議使用 Direct。
以上就是在使用 RabbitMQ 前,需要考慮使用的規范,有了這些規范,很多程序員就能據此寫出比較穩定健壯的程序,而不會導致各種莫名其妙的問題。
強烈建議大家在團隊使用之前,先弄一份規范。否則,如果很多程序員使用 RabbitMQ 非常隨意,容易導致出現各種幺蛾子問題。
在下一篇文章里,我將寫一些開發中需要注意的事項。
雖說是開發需要注意的事項,其實就是我在開發一套成熟的 RabbitMQ 客戶端框架時,碰到的各種問題的總結。如果有些讀者所在的開發團隊恰好也有類似的經歷,那么我說的所有問題,你會發現你可能都會遇到。
我們下篇文章見!
我准備了一些純手打的高質量PDF:
深入淺出Java多線程、HTTP超全匯總、Java基礎核心總結、程序員必知的硬核知識大全、簡歷面試談薪的超全干貨。別看數量不多,但篇篇都是干貨,看完的都說很肝。
領取方式:掃碼關注后,在公眾號后台回復:666
我最近建了一個讀者交流群,里面大部分是程序員,一起聊技術、工作、八卦。歡迎加我微信,拉你入群。