CentOS7.4上搭建rocketMQ集群

一、rocketMQ集群部署方案優缺點對比：

多Master模式（2m-noslave） ：

一個集群無Slave，全是Master，例如2個Master或者3個Master

優點：配置簡單，單個Master宕機或重啟維護對應用無影響，在磁盤配置為RAID10時，即使機器宕機不可恢復情況下，由於RAID10磁盤非常可靠，消息也不會丟（異步刷盤丟失少量消息，同步刷盤一條不丟）。性能最高。

缺點：單台機器宕機期間，這台機器上未被消費的消息在機器恢復之前不可訂閱，消息實時性會受到受到影響。

多Master多Slave模式，異步復制（2m-2s-async） ：

每個Master配置一個Slave，有多對Master-Slave，HA采用異步復制方式，主備有短暫消息延遲，毫秒級。

優點：即使磁盤損壞，消息丟失的非常少，且消息實時性不會受影響，因為Master宕機后，消費者仍然可以從Slave消費，此過程對應用透明。不需要人工干預。性能同多Master模式幾乎一樣。

缺點：Master宕機，磁盤損壞情況，會丟失少量消息。

多Master多Slave模式，同步雙寫（2m-2s-sync）

每個Master配置一個Slave，有多對Master-Slave，HA采用同步雙寫方式，主備都寫成功，向應用返回成功。

優點：數據與服務都無單點，Master宕機情況下，消息無延遲，服務可用性與數據可用性都非常高

缺點：性能比異步復制模式略低，大約低10%左右，發送單個消息的RT會略高。目前主宕機后，備機不能自動切換為主機，后續會支持自動切換功能。

 

二、環境

1、版本

JDK：jdk1.8

rocketMQ:4.3.2 ，rocketMQ下載地址：wget http://mirrors.hust.edu.cn/apache/rocketmq/4.3.2/rocketmq-all-4.3.2-bin-release.zip

rocketmq-console-ng版本：1.0.0

2、角色

rocketmq-console-ng(監控管理)：

188.188.10.60:8080

NameServer節點：

188.188.10.60:9876

188.188.10.23:9876

broker：

188.188.10.60:10911 master broker-a

188.188.10.23:10911 slave broker-a

188.188.10.125:10911 master broker-b

188.188.10.209:10911 slave broker-b

3、host解析

vim /etc/hosts

188.188.10.60 broker-a

188.188.10.23 broker-b

 

三、部署

1、上傳rocketMQ包，並解壓到/usr/local/rocketMQ

2、編輯配置文件，默認的配置不能滿足我們的需求，需要我們自己添加定制相關的參數，由於我們要部署的是多master多slave的異步方案，所以我們修改或者添加/chj/app/rocketmq/conf/2m-2s-async目錄下的配置文件即可（建議在broker的一台節點上把所有的配置文件都撰寫好，統一分發到所有節點，保持所有節點的配置文件一致，起服務的時候不同的節點使用不同的配置文件即可，方便后期維護）

A、4個文件的差異配置

vim broker-a.properties brokerName=broker-a brokerId=0 brokerRole=ASYNC_MASTER vim broker-a-s.properties brokerName=broker-a brokerId=1 brokerRole=SLAVE vim broker-b.properties brokerName=broker-b brokerId=0 brokerRole=ASYNC_MASTER vim broker-b-s.properties brokerName=broker-b brokerId=1 brokerRole=SLAVE

 

B、除了上面的配置每個配置文件不一樣，下面的配置都一樣

 

# 所屬集群名字 brokerClusterName=rocketmq-cluster # broker名字，注意此處不同的配置文件填寫的不一樣， # brokerName=broker-a # 0 表示 Master，>0 表示 Slave # brokerId=0 # nameServer地址，分號分割 namesrvAddr=188.188.10.60:9876;188.188.10.23:9876 # 在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數 defaultTopicQueueNums=4 # 是否允許 Broker 自動創建Topic，建議線下開啟，線上關閉 autoCreateTopicEnable=true # 是否允許 Broker 自動創建訂閱組，建議線下開啟，線上關閉 autoCreateSubscriptionGroup=true # Broker 對外服務的監聽端口 listenPort=10911 # 刪除文件時間點，默認凌晨 4點 deleteWhen=04 # 文件保留時間，默認 48 小時 fileReservedTime=120 # commitLog每個文件的大小默認1G mapedFileSizeCommitLog=1073741824 # ConsumeQueue每個文件默認存30W條，根據業務情況調整 mapedFileSizeConsumeQueue=300000 # destroyMapedFileIntervalForcibly=120000 # redeleteHangedFileInterval=120000 # 檢測物理文件磁盤空間 diskMaxUsedSpaceRatio=88 # 存儲路徑 storePathRootDir= /usr/local/rocketMQ /store # commitLog 存儲路徑 storePathCommitLog= /usr/local/rocketMQ /store/commitlog # 消費隊列存儲路徑存儲路徑 storePathConsumeQueue= /usr/local/rocketMQ /store/consumequeue # 消息索引存儲路徑 storePathIndex= /usr/local/rocketMQ /store/index # checkpoint 文件存儲路徑 storeCheckpoint= /usr/local/rocketMQ/ store/checkpoint # abort 文件存儲路徑 abortFile= /usr/local/rocketMQ /store/abort # 限制的消息大小 maxMessageSize=65536 # flushCommitLogLeastPages=4 # flushConsumeQueueLeastPages=2 # flushCommitLogThoroughInterval=10000 # flushConsumeQueueThoroughInterval=60000 # Broker 的角色 # - ASYNC_MASTER 異步復制Master # - SYNC_MASTER 同步雙寫Master # - SLAVE # brokerRole=ASYNC_MASTER # 刷盤方式 # - ASYNC_FLUSH 異步刷盤 # - SYNC_FLUSH 同步刷盤 flushDiskType=ASYNC_FLUSH # checkTransactionMessageEnable= false # 發消息線程池數量 # sendMessageThreadPoolNums=128 # 拉消息線程池數量 # pullMessageThreadPoolNums=128

3、修改日志文件路徑

cd /usr/local/rocketMQ/conf

sed 's#${user.home}#/usr/local/rocketMQ#g' *.xml -i

4、啟動

nameserver啟動:(兩個節點啟動方式一樣)

nohup sh /usr/local/rocketMQ/bin/mqnamesrv >/dev/null 2>&1 &

broker啟動：

Master-a:

nohup sh /usr/local/rocketMQ/bin/mqbroker -c /usr/local/rocketMQ/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 &

Slave-a:

nohup sh /usr/local/rocketMQ/bin/mqbroker -c /usr/local/rocketMQ/conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 &

Master-b:

nohup sh /usr/local/rocketMQ/bin/mqbroker -c /usr/local/rocketMQ/conf/2m-2s-async/broker-b.properties >/dev/null 2>&1 &

Slave-b:

nohup sh /usr/local/rocketMQ/bin/mqbroker -c /usr/local/rocketMQ/conf/2m-2s-async/broker-b-s.properties >/dev/null 2>&1 &

 

5、rocket-console-ng服務：

nohup java -jar rocketmq-console-ng-1.0.0.jar --server.port=8889 --rocketmq.config.namesrvAddr=188.188.10.60:9876;188.188.10.23:9876 &

http://188.188.10.60:8889/#/