簡介
消息中間件也可以稱消息隊列，是指用高效可靠的消息傳遞機制進行與平台無關的數據交流，並基於數據通信來進行分布式系統的集成。通過提供消息傳遞和消息隊列模型，可以在分布式環境下擴展進程的通信。當下主流的消息中間件有RabbitMQ、Kafka、ActiveMQ、RocketMQ等。其能在不同平台之間進行通信，常用來屏蔽各種平台協議之間的特性，實現應用程序之間的協同。其優點在於能夠在客戶端和服務器之間進行同步和異步的連接，並且在任何時刻都可以將消息進行傳送和轉發。是分布式系統中非常重要的組件，主要用來解決應用耦合、異步通信、流量削峰等問題
消息中間件的作用
消息中間件幾大主要作用如下:
- 解耦
降低工程間的強依賴程度，針對異構系統進行適配。在項目啟動之初來預測將來項目會碰到什么需求，是極其困難的。通過消息系統在處理過程中間插入了一個隱含的、基於數據的接口層，兩邊的處理過程都要實現這一接口，當應用發生變化時，可以獨立的擴展或修改兩邊的處理過程，只要確保它們遵守同樣的接口約束。 - 冗余(存儲)
有些情況下，處理數據的過程會失敗。除非數據被持久化，否則將造成丟失。消息隊列把數據進行持久化直到它們已經被完全處理，通過這一方式規避了數據丟失風險。許多消息隊列所采用的”插入-獲取-刪除”范式中，在把一個消息從隊列中刪除之前，需要你的處理系統明確的指出該消息已經被處理完畢，從而確保你的數據被安全的保存直到你使用完畢。 - 擴展性
因為消息隊列解耦了你的處理過程，所以增大消息入隊和處理的頻率是很容易的，只要另外增加處理過程即可。不需要改變代碼、不需要調節參數。便於分布式擴容。 - 削峰
在訪問量劇增的情況下，應用仍然需要繼續發揮作用，但是這樣的突發流量無法提前預知；如果以為了能處理這類瞬間峰值訪問為標准來投入資源隨時待命無疑是巨大的浪費。使用消息隊列能夠使關鍵組件頂住突發的訪問壓力，而不會因為突發的超負荷的請求而完全崩潰。 - 可恢復性
系統的一部分組件失效時，不會影響到整個系統。消息隊列降低了進程間的耦合度，所以即使一個處理消息的進程掛掉，加入隊列中的消息仍然可以在系統恢復后被處理。 - 順序保證
在大多使用場景下，數據處理的順序都很重要。大部分消息隊列本來就是排序的，並且能保證數據會按照特定的順序來處理。 - 緩沖
在任何重要的系統中，都會有需要不同的處理時間的元素。消息隊列通過一個緩沖層來幫助任務最高效率的執行，該緩沖有助於控制和優化數據流經過系統的速度。以調節系統響應時間。 - 異步通信
有些業務不想也不需要立即處理消息。消息隊列提供了異步處理機制，允許用戶把一個消息放入隊列，但並不立即處理它。想向隊列中放入多少消息就放多少，然后在需要的時候再去處理它們。
消息中間件的兩種模式
PTP模式 （點對點）使用Queue作為通信載體
P2P模式包含三個角色：消息隊列（Queue），發送者(Sender)，接收者(Receiver)。每個消息都被發送到一個特定的隊列，接收者從隊列中獲取消息。隊列保留着消息，直到他們被消費或超時。
P2P的特點:
- 每個消息只有一個消費者（Consumer）(即一旦被消費，消息就不再在消息隊列中)
- 發送者和接收者之間在時間上沒有依賴性，也就是說當發送者發送了消息之后，不管接收者有沒有正在運行它不會影響到消息被發送到隊列
- 接收者在成功接收消息之后需向隊列應答成功
- 如果希望發送的每個消息都會被成功處理的話，那么需要P2P模式
Pub/Sub模式 （發布/訂閱 廣播）使用Topic作為通信載體
消息生產者（發布）將消息發布到topic中，同時有多個消息消費者（訂閱）消費該消息。和點對點方式不同，發布到topic的消息會被所有訂閱者消費。
queue實現了負載均衡，將producer生產的消息發送到消息隊列中，由多個消費者消費。但一個消息只能被一個消費者接受，當沒有消費者可用時，這個消息會被保存直到有一個可用的消費者。
topic實現了發布和訂閱，當你發布一個消息，所有訂閱這個topic的服務都能得到這個消息，所以從1到N個訂閱者都能得到一個消息的拷貝
Pub/Sub的特點
- 每個消息可以有多個消費者
- 發布者和訂閱者之間有時間上的依賴性。針對某個主題（Topic）的訂閱者，它必須創建一個訂閱者之后，才能消費發布者的消息。
- 為了消費消息，訂閱者必須保持運行的狀態。
- 如果希望發送的消息可以不被做任何處理、或者只被一個消息者處理、或者可以被多個消費者處理的話，那么可以采用Pub/Sub模型。
消息中間件解決的問題
異步通信
場景說明：用戶在注冊后，需要發注冊郵件和注冊短信,傳統的做法有兩種：1.串行; 2.並行
1.串行方式:將注冊信息寫入數據庫后,發送注冊郵件,再發送注冊短信,以上三個任務全部完成后才返回給客戶端。 這有一個問題是,郵件,短信並不是必須的,它只是一個通知,而這種做法讓客戶端等待沒有必要等待的東西.
2.並行方式:將注冊信息寫入數據庫后,發送郵件的同時,發送短信,以上三個任務完成后,返回給客戶端,並行的方式能提高處理的時間。
假設三個業務節點分別使用50ms,串行方式使用時間150ms,並行使用時間100ms。雖然並性已經提高的處理時間,但是,前面說過,郵件和短信對我正常的使用網站沒有任何影響，客戶端沒有必要等着其發送完成才顯示注冊成功,應該是寫入數據庫后就返回.
3.消息隊列
引入消息隊列后，把發送郵件,短信不是必須的業務邏輯異步處理
由此可以看出,引入消息隊列后，用戶的響應時間就等於寫入數據庫的時間+寫入消息隊列的時間(可以忽略不計),引入消息隊列后處理后,響應時間是串行的3倍,是並行的2倍。
應用解耦
這是一個高耦合度系統的例子
先是來一個人找他要求發送數據給一個新的系統H，系統A的同學要修改代碼然后在那個代碼里加入調用新系統H的流程。
一會那個系統B是個陳舊老系統要下線了，告訴系統A的同學：別給我發送數據了，接着系統A再次修改代碼不再給這個系統B。
然后如果要是某個下游系統突然宕機了呢？
系統A的調用代碼里是不是會拋異常？那系統A的同學會收到報警說異常了，結果他還要去care是下游哪個系統宕機了。
所以在實際的系統架構設計中，如果全部采取這種系統耦合的方式，在某些場景下絕對是不合適的，系統耦合度太嚴重。
並且互相耦合起來並不是核心鏈路的調用，而是一些非核心的場景（比如上述的數據消費）導致了系統耦合，這樣會嚴重的影響上下游系統的開發和維護效率。
因此在上述系統架構中，就可以采用MQ中間件來實現系統解耦。
系統A就把自己的一份核心數據發到MQ里，下游哪個系統感興趣自己去消費即可，不需要了就取消數據的消費，如下圖所示：
流量削峰
- 場景1
假設你有一個系統，平時正常的時候每秒可能就幾百個請求，每秒幾百請求是可以輕松抗住的，
但是偶爾在高峰期一下子來了每秒鍾幾千請求，彈指一揮間出現了流量高峰，為了抗住這個高峰，可能會選擇擴充機器，增加到10台，但是高峰過后，每秒就幾百個請求，這不是有點浪費機器資源嗎？
但是如果你就部署一台機器，那會導致瞬時高峰時，一下子壓垮你的系統，因為絕對無法抗住每秒幾千的請求高峰。
此時我們就可以用MQ中間件來進行流量削峰。所有機器前面部署一層MQ，平時每秒幾百請求大家都可以輕松接收消息。
一旦到了瞬時高峰期，一下涌入每秒幾千的請求，就可以積壓在MQ里面，然后那一台機器慢慢的處理和消費。
等高峰期過了，再消費一段時間，MQ里積壓的數據就消費完畢了。
這個就是很典型的一個MQ的用法，用有限的機器資源承載高並發請求，如果業務場景允許異步削峰，高峰期積壓一些請求在MQ里，然后高峰期過了，后台系統在一定時間內消費完畢不再積壓的話，那就很適合用這種技術方案。
- 場景2
秒殺活動，一般會因為流量過大，導致應用掛掉,為了解決這個問題，一般在應用前端加入消息隊列。
作用:
1.可以控制活動人數，超過此一定閥值的訂單直接丟棄
2.可以緩解短時間的高流量壓垮應用(應用程序按自己的最大處理能力獲取訂單)
待補充
消息中間件常用協議
-
AMQP協議
AMQP即Advanced Message Queuing Protocol,一個提供統一消息服務的應用層標准高級消息隊列協議,是應用層協議的一個開放標准,為面向消息的中間件設計。基於此協議的客戶端與消息中間件可傳遞消息，並不受客戶端/中間件不同產品，不同開發語言等條件的限制。
優點：可靠、通用 -
MQTT協議
MQTT（Message Queuing Telemetry Transport，消息隊列遙測傳輸）是IBM開發的一個即時通訊協議，有可能成為物聯網的重要組成部分。該協議支持所有平台，幾乎可以把所有聯網物品和外部連接起來，被用來當做傳感器和致動器（比如通過Twitter讓房屋聯網）的通信協議。
優點：格式簡潔、占用帶寬小、移動端通信、PUSH、嵌入式系統 -
STOMP協議
STOMP（Streaming Text Orientated Message Protocol）是流文本定向消息協議，是一種為MOM(Message Oriented Middleware，面向消息的中間件)設計的簡單文本協議。STOMP提供一個可互操作的連接格式，允許客戶端與任意STOMP消息代理（Broker）進行交互。
優點：命令模式（非topic\queue模式） -
XMPP協議
XMPP（可擴展消息處理現場協議，Extensible Messaging and Presence Protocol）是基於可擴展標記語言（XML）的協議，多用於即時消息（IM）以及在線現場探測。適用於服務器之間的准即時操作。核心是基於XML流傳輸，這個協議可能最終允許因特網用戶向因特網上的其他任何人發送即時消息，即使其操作系統和瀏覽器不同。
優點：通用公開、兼容性強、可擴展、安全性高，但XML編碼格式占用帶寬大 -
其他基於TCP/IP自定義的協議
有些特殊框架（如：redis、kafka、zeroMq等）根據自身需要未嚴格遵循MQ規范，而是基於TCP\IP自行封裝了一套協議，通過網絡socket接口進行傳輸，實現了MQ的功能。
常用中間件介紹
-
RocketMQ
阿里系下開源的一款分布式、隊列模型的消息中間件，原名Metaq，3.0版本名稱改為RocketMQ，是阿里參照kafka設計思想使用java實現的一套mq。同時將阿里系內部多款mq產品（Notify、metaq）進行整合，只維護核心功能，去除了所有其他運行時依賴，保證核心功能最簡化，在此基礎上配合阿里上述其他開源產品實現不同場景下mq的架構，目前主要多用於訂單交易系統。
具有以下特點：
能夠保證嚴格的消息順序
提供針對消息的過濾功能
提供豐富的消息拉取模式
高效的訂閱者水平擴展能力
實時的消息訂閱機制
億級消息堆積能力
官方提供了一些不同於kafka的對比差異：
https://rocketmq.apache.org/docs/motivation/ -
RabbitMQ
使用Erlang編寫的一個開源的消息隊列，本身支持很多的協議：AMQP，XMPP, SMTP,STOMP，也正是如此，使的它變的非常重量級，更適合於企業級的開發。同時實現了Broker架構，核心思想是生產者不會將消息直接發送給隊列，消息在發送給客戶端時先在中心隊列排隊。對路由(Routing)，負載均衡(Load balance)、數據持久化都有很好的支持。多用於進行企業級的ESB整合。 -
ActiveMQ
Apache下的一個子項目。使用Java完全支持JMS1.1和J2EE 1.4規范的 JMS Provider實現，少量代碼就可以高效地實現高級應用場景。可插拔的傳輸協議支持，比如：in-VM, TCP, SSL, NIO, UDP, multicast, JGroups and JXTA transports。RabbitMQ、ZeroMQ、ActiveMQ均支持常用的多種語言客戶端 C++、Java、.Net,、Python、 Php、 Ruby等。 -
Redis
使用C語言開發的一個Key-Value的NoSQL數據庫，開發維護很活躍，雖然它是一個Key-Value數據庫存儲系統，但它本身支持MQ功能，所以完全可以當做一個輕量級的隊列服務來使用。對於RabbitMQ和Redis的入隊和出隊操作，各執行100萬次，每10萬次記錄一次執行時間。測試數據分為128Bytes、512Bytes、1K和10K四個不同大小的數據。實驗表明：入隊時，當數據比較小時Redis的性能要高於RabbitMQ，而如果數據大小超過了10K，Redis則慢的無法忍受；出隊時，無論數據大小，Redis都表現出非常好的性能，而RabbitMQ的出隊性能則遠低於Redis。 -
Kafka
Apache下的一個子項目，使用scala實現的一個高性能分布式Publish/Subscribe消息隊列系統，具有以下特性：
快速持久化：通過磁盤順序讀寫與零拷貝機制，可以在O(1)的系統開銷下進行消息持久化；
高吞吐：在一台普通的服務器上既可以達到10W/s的吞吐速率；
高堆積：支持topic下消費者較長時間離線，消息堆積量大；
完全的分布式系統：Broker、Producer、Consumer都原生自動支持分布式，依賴zookeeper自動實現復雜均衡；
支持Hadoop數據並行加載：對於像Hadoop的一樣的日志數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。 -
ZeroMQ
號稱最快的消息隊列系統，專門為高吞吐量/低延遲的場景開發，在金融界的應用中經常使用，偏重於實時數據通信場景。ZMQ能夠實現RabbitMQ不擅長的高級/復雜的隊列，但是開發人員需要自己組合多種技術框架，開發成本高。因此ZeroMQ具有一個獨特的非中間件的模式，更像一個socket library，你不需要安裝和運行一個消息服務器或中間件，因為你的應用程序本身就是使用ZeroMQ API完成邏輯服務的角色。但是ZeroMQ僅提供非持久性的隊列，如果down機，數據將會丟失。如：Twitter的Storm中使用ZeroMQ作為數據流的傳輸。
ZeroMQ套接字是與傳輸層無關的：ZeroMQ套接字對所有傳輸層協議定義了統一的API接口。默認支持 進程內(inproc) ，進程間(IPC) ，多播，TCP協議，在不同的協議之間切換只要簡單的改變連接字符串的前綴。可以在任何時候以最小的代價從進程間的本地通信切換到分布式下的TCP通信。ZeroMQ在背后處理連接建立，斷開和重連邏輯。
特性：
無鎖的隊列模型：對於跨線程間的交互（用戶端和session）之間的數據交換通道pipe，采用無鎖的隊列算法CAS；在pipe的兩端注冊有異步事件，在讀或者寫消息到pipe的時，會自動觸發讀寫事件。
批量處理的算法：對於批量的消息，進行了適應性的優化，可以批量的接收和發送消息。
多核下的線程綁定，無須CPU切換：區別於傳統的多線程並發模式，信號量或者臨界區，zeroMQ充分利用多核的優勢，每個核綁定運行一個工作者線程，避免多線程之間的CPU切換開銷。
主要消息中間件的比較
