1 各角色介紹
Producer:消息的發送者;舉例:發信者Consumer:消息接收者;舉例:收信者Broker:暫存和傳輸消息;舉例:郵局NameServer:管理Broker;舉例:各個郵局的管理機構Topic:區分消息的種類;一個發送者可以發送消息給一個或者多個Topic;一個消息的接收者可以訂閱一個或者多個Topic消息Message Queue:相當於是Topic的分區;用於並行發送和接收消息

2 集群搭建方式
2.1 集群特點
-
NameServer是一個幾乎無狀態節點,可集群部署,節點之間無任何信息同步。 -
Broker部署相對復雜,Broker分為Master與Slave,一個Master可以對應多個Slave,但是一個Slave只能對應一個Master,Master與Slave的對應關系通過指定相同的BrokerName,不同的BrokerId來定義,BrokerId為0表示Master,非0表示Slave。Master也可以部署多個。每個Broker與NameServer集群中的所有節點建立長連接,定時注冊Topic信息到所有NameServer。 -
Producer與NameServer集群中的其中一個節點(隨機選擇)建立長連接,定期從NameServer取Topic路由信息,並向提供Topic服務的Master建立長連接,且定時向Master發送心跳。Producer完全無狀態,可集群部署。 -
Consumer與NameServer集群中的其中一個節點(隨機選擇)建立長連接,定期從NameServer取Topic路由信息,並向提供Topic服務的Master、Slave建立長連接,且定時向Master、Slave發送心跳。Consumer既可以從Master訂閱消息,也可以從Slave訂閱消息,訂閱規則由Broker配置決定。
2.2 集群模式
1)單Master模式
這種方式風險較大,一旦Broker重啟或者宕機時,會導致整個服務不可用。不建議線上環境使用,可以用於本地測試。
2)多Master模式
一個集群無Slave,全是Master,例如2個Master或者3個Master,這種模式的優缺點如下:
- 優點:配置簡單,單個
Master宕機或重啟維護對應用無影響,在磁盤配置為RAID10時,即使機器宕機不可恢復情況下,由於RAID10磁盤非常可靠,消息也不會丟(異步刷盤丟失少量消息,同步刷盤一條不丟),性能最高; - 缺點:單台機器宕機期間,這台機器上未被消費的消息在機器恢復之前不可訂閱,消息實時性會受到影響。
3)多Master多Slave模式(異步)
每個Master配置一個Slave,有多對Master-Slave,HA采用異步復制方式,主備有短暫消息延遲(毫秒級),這種模式的優缺點如下:
- 優點:即使磁盤損壞,消息丟失的非常少,且消息實時性不會受影響,同時
Master宕機后,消費者仍然可以從Slave消費,而且此過程對應用透明,不需要人工干預,性能同多Master模式幾乎一樣; - 缺點:
Master宕機,磁盤損壞情況下會丟失少量消息。
4)多Master多Slave模式(同步)
每個Master配置一個Slave,有多對Master-Slave,HA采用同步雙寫方式,即只有主備都寫成功,才向應用返回成功,這種模式的優缺點如下:
- 優點:數據與服務都無單點故障,
Master宕機情況下,消息無延遲,服務可用性與數據可用性都非常高; - 缺點:性能比異步復制模式略低(大約低10%左右),發送單個消息的
RT會略高,且目前版本在主節點宕機后,備機不能自動切換為主機。
3 雙主雙從集群搭建
3.1 總體架構
消息高可用采用2master-2slave(同步雙寫)方式

3.2 集群工作流程
- 啟動
NameServer,NameServer起來后監聽端口,等待Broker、Producer、Consumer連上來,相當於一個路由控制中心。 Broker啟動,跟所有的NameServer保持長連接,定時發送心跳包。心跳包中包含當前Broker信息(IP+端口等)以及存儲所有Topic信息。注冊成功后,NameServer集群中就有Topic跟Broker的映射關系。- 收發消息前,先創建
Topic,創建Topic時需要指定該Topic要存儲在哪些Broker上,也可以在發送消息時自動創建Topic。 Producer發送消息,啟動時先跟NameServer集群中的其中一台建立長連接,並從NameServer中獲取當前發送的Topic存在哪些Broker上,輪詢從隊列列表中選擇一個隊列,然后與隊列所在的Broker建立長連接從而向Broker發消息。Consumer跟Producer類似,跟其中一台NameServer建立長連接,獲取當前訂閱Topic存在哪些Broker上,然后直接跟Broker建立連接通道,開始消費消息。
3.3 服務器環境
| 序號 | IP | 角色 | 架構模式 |
|---|---|---|---|
| 1 | 192.168.2.12 | nameserver、brokerserver | Master1、Slave2 |
| 2 | 192.168.2.13 | nameserver、brokerserver | Master2、Slave1 |
3.4 Host添加信息
vim /etc/hosts
配置如下:
# nameserver
192.168.2.12 rocketmq-nameserver1
192.168.2.13 rocketmq-nameserver2
# broker
192.168.2.12 rocketmq-master1
192.168.2.12 rocketmq-slave2
192.168.2.13 rocketmq-master2
192.168.2.13 rocketmq-slave1
配置完成后, 重啟網卡
systemctl restart network
3.5 防火牆配置
宿主機需要遠程訪問虛擬機的rocketmq服務和web服務,需要開放相關的端口號,簡單粗暴的方式是直接關閉防火牆
# 關閉防火牆
systemctl stop firewalld.service
# 查看防火牆的狀態
firewall-cmd --state
# 禁止firewall開機啟動
systemctl disable firewalld.service

或者為了安全,只開放特定的端口號,RocketMQ默認使用3個端口:9876 、10911 、11011 。如果防火牆沒有關閉的話,那么防火牆就必須開放這些端口:
nameserver默認使用 9876 端口master默認使用 10911 端口slave默認使用11011 端口
執行以下命令:
# 開放name server默認端口
firewall-cmd --remove-port=9876/tcp --permanent
# 開放master默認端口
firewall-cmd --remove-port=10911/tcp --permanent
# 開放slave默認端口 (當前集群模式可不開啟)
firewall-cmd --remove-port=11011/tcp --permanent
# 重啟防火牆
firewall-cmd --reload
3.6 環境變量配置
vim /etc/profile
在profile文件的末尾加入如下命令
#set rocketmq 該目錄為rocketmq二進制包解壓目錄
ROCKETMQ_HOME=/usr/local/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH
輸入:wq! 保存並退出, 並使得配置立刻生效:
source /etc/profile
3.7 創建消息存儲路徑
mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index
3.8 broker配置文件
1)master1
服務器:192.168.2.12
vim /usr/local/rocketmq/conf/2m-2s-sync/new-broker-a.properties
修改配置如下:
#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此處不同的配置文件填寫的不一樣
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer地址,分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時,自動創建服務器不存在的topic,默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic,建議線下開啟,線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組,建議線下開啟,線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點,默認凌晨 4點
deleteWhen=04
#文件保留時間,默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條,根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128
2)slave2
服務器:192.168.2.12
vim /usr/local/rocketmq/conf/2m-2s-sync/new-broker-b-s.properties
修改配置如下:
#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此處不同的配置文件填寫的不一樣
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer地址,分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時,自動創建服務器不存在的topic,默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic,建議線下開啟,線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組,建議線下開啟,線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=11011
#刪除文件時間點,默認凌晨 4點
deleteWhen=04
#文件保留時間,默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條,根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128
3)master2
服務器:192.168.2.13
vim /usr/local/rocketmq/conf/2m-2s-sync/new-broker-b.properties
修改配置如下:
#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此處不同的配置文件填寫的不一樣
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer地址,分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時,自動創建服務器不存在的topic,默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic,建議線下開啟,線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組,建議線下開啟,線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點,默認凌晨 4點
deleteWhen=04
#文件保留時間,默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條,根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128
4)slave1
服務器:192.168.2.13
vim /usr/local/rocketmq/conf/2m-2s-sync/new-broker-a-s.properties
修改配置如下:
#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此處不同的配置文件填寫的不一樣
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer地址,分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時,自動創建服務器不存在的topic,默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic,建議線下開啟,線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組,建議線下開啟,線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=11011
#刪除文件時間點,默認凌晨 4點
deleteWhen=04
#文件保留時間,默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條,根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128
3.9 修改啟動腳本文件
1)runbroker.sh
vi /usr/local/rocketmq/bin/runbroker.sh
需要根據內存大小進行適當的對JVM參數進行調整:
#===================================================
# 開發環境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"
2)runserver.sh
vim /usr/local/rocketmq/bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
3.10 服務啟動
1)啟動NameServer集群
分別在192.168.2.12和192.168.2.13啟動NameServer
cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &


2)啟動Broker集群
- 在
192.168.2.12上啟動master1和slave2
master1:
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/new-broker-a.properties &
slave2:
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/new-broker-b-s.properties &

- 在
192.168.2.13上啟動master2和slave2
master2
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/new-broker-b.properties &
slave1
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/new-broker-a-s.properties &

3.11 查看進程狀態
啟動后通過JPS查看啟動進程


3.12 查看日志
# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log


4 mqadmin管理工具
4.1 使用方式
進入RocketMQ安裝位置,在bin目錄下執行./mqadmin {command} {args}
4.2 命令介紹
1)Topic相關
| 名稱 | 含義 | 命令選項 | 說明 |
| updateTopic | 創建更新Topic配置 | -b | Broker 地址,表示 topic 所在 Broker,只支持單台Broker,地址為ip:port |
| -c | cluster 名稱,表示 topic 所在集群(集群可通過 clusterList 查詢) | ||
| -h- | 打印幫助 | ||
| -n | NameServer服務地址,格式 ip:port | ||
| -p | 指定新topic的讀寫權限( W=2|R=4|WR=6 ) | ||
| -r | 可讀隊列數(默認為 8) | ||
| -w | 可寫隊列數(默認為 8) | ||
| -t | topic 名稱(名稱只能使用字符 ^[a-zA-Z0-9_-]+$ ) | ||
| deleteTopic | 刪除Topic | -c | cluster 名稱,表示刪除某集群下的某個 topic (集群 可通過 clusterList 查詢) |
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| -t | topic 名稱(名稱只能使用字符 ^[a-zA-Z0-9_-]+$ ) | ||
| topicList | 查看 Topic 列表信息 | -h | 打印幫助 |
| -c | 不配置-c只返回topic列表,增加-c返回clusterName, topic, consumerGroup信息,即topic的所屬集群和訂閱關系,沒有參數 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| topicRoute | 查看 Topic 路由信息 | -t | topic 名稱 |
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| topicStatus | 查看 Topic 消息隊列offset | -t | topic 名稱 |
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| topicClusterList | 查看 Topic 所在集群列表 | -t | topic 名稱 |
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| updateTopicPerm | 更新 Topic 讀寫權限 | -t | topic 名稱 |
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| -b | Broker 地址,表示 topic 所在 Broker,只支持單台Broker,地址為ip:port | ||
| -p | 指定新 topic 的讀寫權限( W=2|R=4|WR=6 ) | ||
| -c | cluster 名稱,表示 topic 所在集群(集群可通過 clusterList 查詢),-b優先,如果沒有-b,則對集群中所有Broker執行命令 | ||
| updateOrderConf | 從NameServer上創建、刪除、獲取特定命名空間的kv配置,目前還未啟用 | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -t | topic,鍵 | ||
| -v | orderConf,值 | ||
| -m | method,可選get、put、delete | ||
| allocateMQ | 以平均負載算法計算消費者列表負載消息隊列的負載結果 | -t | topic 名稱 |
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| -i | ipList,用逗號分隔,計算這些ip去負載Topic的消息隊列 | ||
| statsAll | 打印Topic訂閱關系、TPS、積累量、24h讀寫總量等信息 | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -a | 是否只打印活躍topic | ||
| -t | 指定topic |
| 名稱 | 含義 | 命令選項 | 說明 |
| clusterList | 查看集群信息,集群、BrokerName、BrokerId、TPS等信息 | -m | 打印更多信息 (增加打印出如下信息 #InTotalYest, #OutTotalYest, #InTotalToday ,#OutTotalToday) |
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| -i | 打印間隔,單位秒 | ||
| clusterRT | 發送消息檢測集群各Broker RT。消息發往${BrokerName} Topic。 | -a | amount,每次探測的總數,RT = 總時間 / amount |
| -s | 消息大小,單位B | ||
| -c | 探測哪個集群 | ||
| -p | 是否打印格式化日志,以|分割,默認不打印 | ||
| -h | 打印幫助 | ||
| -m | 所屬機房,打印使用 | ||
| -i | 發送間隔,單位秒 | ||
| -n | NameServer 服務地址,格式 ip:port |
| 名稱 | 含義 | 命令選項 | 說明 |
| updateBrokerConfig | 更新 Broker 配置文件,會修改Broker.conf | -b | Broker 地址,格式為ip:port |
| -c | cluster 名稱 | ||
| -k | key 值 | ||
| -v | value 值 | ||
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| brokerStatus | 查看 Broker 統計信息、運行狀態(你想要的信息幾乎都在里面) | -b | Broker 地址,地址為ip:port |
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| brokerConsumeStats | Broker中各個消費者的消費情況,按Message Queue維度返回Consume Offset,Broker Offset,Diff,TImestamp等信息 | -b | Broker 地址,地址為ip:port |
| -t | 請求超時時間 | ||
| -l | diff閾值,超過閾值才打印 | ||
| -o | 是否為順序topic,一般為false | ||
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| getBrokerConfig | 獲取Broker配置 | -b | Broker 地址,地址為ip:port |
| -n | NameServer 服務地址,格式 ip:port | ||
| wipeWritePerm | 從NameServer上清除 Broker寫權限 | -b | Broker 地址,地址為ip:port |
| -n | NameServer 服務地址,格式 ip:port | ||
| -h | 打印幫助 | ||
| cleanExpiredCQ | 清理Broker上過期的Consume Queue,如果手動減少對列數可能產生過期隊列 | -n | NameServer 服務地址,格式 ip:port |
| -h | 打印幫助 | ||
| -b | Broker 地址,地址為ip:port | ||
| -c | 集群名稱 | ||
| cleanUnusedTopic | 清理Broker上不使用的Topic,從內存中釋放Topic的Consume Queue,如果手動刪除Topic會產生不使用的Topic | -n | NameServer 服務地址,格式 ip:port |
| -h | 打印幫助 | ||
| -b | Broker 地址,地址為ip:port | ||
| -c | 集群名稱 | ||
| sendMsgStatus | 向Broker發消息,返回發送狀態和RT | -n | NameServer 服務地址,格式 ip:port |
| -h | 打印幫助 | ||
| -b | BrokerName,注意不同於Broker地址 | ||
| -s | 消息大小,單位B | ||
| -c | 發送次數 |
| 名稱 | 含義 | 命令選項 | 說明 |
| queryMsgById | 根據offsetMsgId查詢msg,如果使用開源控制台,應使用offsetMsgId,此命令還有其他參數,具體作用請閱讀QueryMsgByIdSubCommand。 | -i | msgId |
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| queryMsgByKey | 根據消息 Key 查詢消息 | -k | msgKey |
| -t | Topic 名稱 | ||
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| queryMsgByOffset | 根據 Offset 查詢消息 | -b | Broker 名稱,(這里需要注意 填寫的是 Broker 的名稱,不是 Broker 的地址,Broker 名稱可以在 clusterList 查到) |
| -i | query 隊列 id | ||
| -o | offset 值 | ||
| -t | topic 名稱 | ||
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| queryMsgByUniqueKey | 根據msgId查詢,msgId不同於offsetMsgId,區別詳見常見運維問題。-g,-d配合使用,查到消息后嘗試讓特定的消費者消費消息並返回消費結果 | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -i | uniqe msg id | ||
| -g | consumerGroup | ||
| -d | clientId | ||
| -t | topic名稱 | ||
| checkMsgSendRT | 檢測向topic發消息的RT,功能類似clusterRT | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -t | topic名稱 | ||
| -a | 探測次數 | ||
| -s | 消息大小 | ||
| sendMessage | 發送一條消息,可以根據配置發往特定Message Queue,或普通發送。 | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -t | topic名稱 | ||
| -p | body,消息體 | ||
| -k | keys | ||
| -c | tags | ||
| -b | BrokerName | ||
| -i | queueId | ||
| consumeMessage | 消費消息。可以根據offset、開始&結束時間戳、消息隊列消費消息,配置不同執行不同消費邏輯,詳見ConsumeMessageCommand。 | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -t | topic名稱 | ||
| -b | BrokerName | ||
| -o | 從offset開始消費 | ||
| -i | queueId | ||
| -g | 消費者分組 | ||
| -s | 開始時間戳,格式詳見-h | ||
| -d | 結束時間戳 | ||
| -c | 消費多少條消息 | ||
| printMsg | 從Broker消費消息並打印,可選時間段 | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -t | topic名稱 | ||
| -c | 字符集,例如UTF-8 | ||
| -s | subExpress,過濾表達式 | ||
| -b | 開始時間戳,格式參見-h | ||
| -e | 結束時間戳 | ||
| -d | 是否打印消息體 | ||
| printMsgByQueue | 類似printMsg,但指定Message Queue | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -t | topic名稱 | ||
| -i | queueId | ||
| -a | BrokerName | ||
| -c | 字符集,例如UTF-8 | ||
| -s | subExpress,過濾表達式 | ||
| -b | 開始時間戳,格式參見-h | ||
| -e | 結束時間戳 | ||
| -p | 是否打印消息 | ||
| -d | 是否打印消息體 | ||
| -f | 是否統計tag數量並打印 | ||
| resetOffsetByTime | 按時間戳重置offset,Broker和consumer都會重置 | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -g | 消費者分組 | ||
| -t | topic名稱 | ||
| -s | 重置為此時間戳對應的offset | ||
| -f | 是否強制重置,如果false,只支持回溯offset,如果true,不管時間戳對應offset與consumeOffset關系 | ||
| -c | 是否重置c++客戶端offset |
5)消費者、消費組相關
| 名稱 | 含義 | 命令選項 | 說明 |
| consumerProgress | 查看訂閱組消費狀態,可以查看具體的client IP的消息積累量 | -g | 消費者所屬組名 |
| -s | 是否打印client IP | ||
| -h | 打印幫助 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| consumerStatus | 查看消費者狀態,包括同一個分組中是否都是相同的訂閱,分析Process Queue是否堆積,返回消費者jstack結果,內容較多,使用者參見ConsumerStatusSubCommand | -h | 打印幫助 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -g | consumer group | ||
| -i | clientId | ||
| -s | 是否執行jstack | ||
| getConsumerStatus | 獲取 Consumer 消費進度 | -g | 消費者所屬組名 |
| -t | 查詢主題 | ||
| -i | Consumer 客戶端 ip | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| -h | 打印幫助 | ||
| updateSubGroup | 更新或創建訂閱關系 | -n | NameServer 服務地址,格式 ip:port |
| -h | 打印幫助 | ||
| -b | Broker地址 | ||
| -c | 集群名稱 | ||
| -g | 消費者分組名稱 | ||
| -s | 分組是否允許消費 | ||
| -m | 是否從最小offset開始消費 | ||
| -d | 是否是廣播模式 | ||
| -q | 重試隊列數量 | ||
| -r | 最大重試次數 | ||
| -i | 當slaveReadEnable開啟時有效,且還未達到從slave消費時建議從哪個BrokerId消費,可以配置備機id,主動從備機消費 | ||
| -w | 如果Broker建議從slave消費,配置決定從哪個slave消費,配置BrokerId,例如1 | ||
| -a | 當消費者數量變化時是否通知其他消費者負載均衡 | ||
| deleteSubGroup | 從Broker刪除訂閱關系 | -n | NameServer 服務地址,格式 ip:port |
| -h | 打印幫助 | ||
| -b | Broker地址 | ||
| -c | 集群名稱 | ||
| -g | 消費者分組名稱 | ||
| cloneGroupOffset | 在目標群組中使用源群組的offset | -n | NameServer 服務地址,格式 ip:port |
| -h | 打印幫助 | ||
| -s | 源消費者組 | ||
| -d | 目標消費者組 | ||
| -t | topic名稱 | ||
| -o | 暫未使用 |
6)連接相關
| 名稱 | 含義 | 命令選項 | 說明 |
| consumerConnec tion | 查詢 Consumer 的網絡連接 | -g | 消費者所屬組名 |
| -n | NameServer 服務地址,格式 ip:port | ||
| -h | 打印幫助 | ||
| producerConnec tion | 查詢 Producer 的網絡連接 | -g | 生產者所屬組名 |
| -t | 主題名稱 | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| -h | 打印幫助 |
7)NameServer相關
| 名稱 | 含義 | 命令選項 | 說明 |
| updateKvConfig | 更新NameServer的kv配置,目前還未使用 | -s | 命名空間 |
| -k | key | ||
| -v | value | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| -h | 打印幫助 | ||
| deleteKvConfig | 刪除NameServer的kv配置 | -s | 命名空間 |
| -k | key | ||
| -n | NameServer 服務地址,格式 ip:port | ||
| -h | 打印幫助 | ||
| getNamesrvConfig | 獲取NameServer配置 | -n | NameServer 服務地址,格式 ip:port |
| -h | 打印幫助 | ||
| updateNamesrvConfig | 修改NameServer配置 | -n | NameServer 服務地址,格式 ip:port |
| -h | 打印幫助 | ||
| -k | key | ||
| -v | value |
8)其他
| 名稱 | 含義 | 命令選項 | 說明 |
| startMonitoring | 開啟監控進程,監控消息誤刪、重試隊列消息數等 | -n | NameServer 服務地址,格式 ip:port |
| -h | 打印幫助 |
4.3 注意事項
- 幾乎所有命令都需要配置-n表示
NameServer地址,格式為ip:port - 幾乎所有命令都可以通過-h獲取幫助
- 如果既有
Broker地址(-b)配置項又有clusterName(-c)配置項,則優先以Broker地址執行命令;如果不配置Broker地址,則對集群中所有主機執行命令
