阿里巴巴有2大核心的分布式技術,一個是OceanBase,另一個就是RocketMQ。在實際項目中已經領教過RocketMQ的強大,本人計划寫一個RocketMQ實戰系列,將涵蓋RocketMQ的簡介,環境搭建,初步使用、API詳解、架構分析、管理員集群操作等知識。
What is RocketMQ?
RocketMQ作為一款分布式的消息中間件(阿里的說法是不遵循任何規范的,所以不能完全用JMS的那一套東西來看它),經歷了Metaq1.x、Metaq2.x的發展和淘寶雙十一的洗禮,在功能和性能上遠超ActiveMQ。
1.要知道RocketMQ原生就是支持分布式的,而ActiveMQ原生存在單點性。
2.RocketMQ可以保證嚴格的消息順序,而ActiveMQ無法保證!
3.RocketMQ提供億級消息的堆積能力,這不是重點,重點是堆積了億級的消息后,依然保持寫入低延遲!
4.豐富的消息拉取模式(Push or Pull)
Push好理解,比如在消費者端設置Listener回調;而Pull,控制權在於應用,即應用需要主動的調用拉消息方法從Broker獲取消息,這里面存在一個消費位置記錄的問題(如果不記錄,會導致消息重復消費)。
5.在Metaq1.x/2.x的版本中,分布式協調采用的是Zookeeper,而RocketMQ自己實現了一個NameServer,更加輕量級,性能更好!
6.消息失敗重試機制、高效的訂閱者水平擴展能力、強大的API、事務機制等等(后續詳細介紹)
初步理解Producer/Consumer Group
ActiveMQ中並沒有Group這個概念,而在RocketMQ中理解Group的機制很重要。

想過沒有,通過Group機制,讓RocketMQ天然的支持消息負載均衡!
比如某個Topic有9條消息,其中一個Consumer Group有3個實例(3個進程 OR 3台機器),那么每個實例將均攤3條消息!(注意RocketMQ只有一種模式,即發布訂閱模式。)
install RocketMQ
RocketMQ的Broker集群部署模式還挺多的,比如單Master模式、多Master模式、多Master多Slave模式(異步復制)、多Master多Slave模式(同步雙寫)等。明確個概念,RocketMQ Slave不可以寫,可以讀,類似於MySQL的主從機制。
單Master模式:
無需多言,一旦單個broker重啟或宕機,一切都結束了!很顯然,線上不可以使用。
多Master模式:
全是Master,沒有Slave。當然,一個broker宕機了,應用是無影響的,缺點在於宕機的Master上未被消費的消息在Master沒有恢復之前不可以訂閱。
多Master多Slave模式(異步復制):
多對Master-Slave,高可用!采用異步復制的方式,主備之間短暫延遲,MS級別。Master宕機,消費者可以從Slave上進行消費,不受影響,但是Master的宕機,會導致丟失掉極少量的消息。
多Master多Slave模式(同步雙寫):
和上面的區別點在於采用的是同步方式,也就是在Master/Slave都寫成功的前提下,向應用返回成功,可見不論是數據,還是服務都沒有單點,都非常可靠!缺點在於同步的性能比異步稍低。
這里我將采用2個Master的方式進行搭建演示,會了雙Master,其他的將很簡單。(多Master在實際中也是非常常用的,如果並發非常大,考慮多Master多Slave模式)

在192.168.99.121/122機器上各一個NameServer、Master進程。
以192.168.99.121為例:
第一步,修改/etc/hosts文件


第二步,解壓並創建存儲路徑
tar -xvf alibaba-rocketmq-3.2.6.tar.gz
mkdir -p alibaba-rocketmq/store/{commitlog,consumequeue,index}
第三步,配置文件


上面已經將實際中常用的配置項給出來了!
第四步,修改日志配置文件

注意到logback.*.xml配置文件中:

可以使用sed進行替換:
sed -i 's#${user.home}#/software/alibaba-rocketmq#g' *.xml
第五步,修改啟動腳本中的JVM參數

注意,在這里我將JVM的堆的初始化和最大大小統一設置為1G,並將新生代大小設置為512M。主要是考慮到我的虛擬機內存,實際上在線上是可以走默認的4G堆內存的。
第六步,啟動NameServer
nohup sh mqnamesrv &


第七步,啟動broker-X

注意觀察日志:


第八步:RocketMQ Console
把rocketmq-console.war部署到Tomcat下即可。




這個管控台實際上還是比較簡陋的,我們使用比較多的是mqadmin操作命令,后續會介紹。
OK,到這里,雙Master的搭建已經完成了!
來源:http://www.jianshu.com/p/3afd610a8f7d