RocketMQ雙主雙從集群搭建


1 各角色介紹

  • Producer:消息的發送者;舉例:發信者
  • Consumer:消息接收者;舉例:收信者
  • Broker:暫存和傳輸消息;舉例:郵局
  • NameServer:管理Broker;舉例:各個郵局的管理機構
  • Topic:區分消息的種類;一個發送者可以發送消息給一個或者多個Topic;一個消息的接收者可以訂閱一個或者多個Topic消息
  • Message Queue:相當於是Topic的分區;用於並行發送和接收消息

2 集群搭建方式

2.1 集群特點

  • NameServer是一個幾乎無狀態節點,可集群部署,節點之間無任何信息同步。

  • Broker部署相對復雜,Broker分為MasterSlave,一個Master可以對應多個Slave,但是一個Slave只能對應一個MasterMasterSlave的對應關系通過指定相同的BrokerName,不同的BrokerId來定義,BrokerId為0表示Master,非0表示SlaveMaster也可以部署多個。每個BrokerNameServer集群中的所有節點建立長連接,定時注冊Topic信息到所有NameServer

  • ProducerNameServer集群中的其中一個節點(隨機選擇)建立長連接,定期從NameServerTopic路由信息,並向提供Topic服務的Master建立長連接,且定時向Master發送心跳。Producer完全無狀態,可集群部署。

  • ConsumerNameServer集群中的其中一個節點(隨機選擇)建立長連接,定期從NameServerTopic路由信息,並向提供Topic服務的MasterSlave建立長連接,且定時向MasterSlave發送心跳。Consumer既可以從Master訂閱消息,也可以從Slave訂閱消息,訂閱規則由Broker配置決定。

2.2 集群模式

1)單Master模式

這種方式風險較大,一旦Broker重啟或者宕機時,會導致整個服務不可用。不建議線上環境使用,可以用於本地測試。

2)多Master模式

一個集群無Slave,全是Master,例如2個Master或者3個Master,這種模式的優缺點如下:

  • 優點:配置簡單,單個Master宕機或重啟維護對應用無影響,在磁盤配置為RAID10時,即使機器宕機不可恢復情況下,由於RAID10磁盤非常可靠,消息也不會丟(異步刷盤丟失少量消息,同步刷盤一條不丟),性能最高;
  • 缺點:單台機器宕機期間,這台機器上未被消費的消息在機器恢復之前不可訂閱,消息實時性會受到影響。

3)多MasterSlave模式(異步)

每個Master配置一個Slave,有多對Master-SlaveHA采用異步復制方式,主備有短暫消息延遲(毫秒級),這種模式的優缺點如下:

  • 優點:即使磁盤損壞,消息丟失的非常少,且消息實時性不會受影響,同時Master宕機后,消費者仍然可以從Slave消費,而且此過程對應用透明,不需要人工干預,性能同多Master模式幾乎一樣;
  • 缺點:Master宕機,磁盤損壞情況下會丟失少量消息。

4)多MasterSlave模式(同步)

每個Master配置一個Slave,有多對Master-SlaveHA采用同步雙寫方式,即只有主備都寫成功,才向應用返回成功,這種模式的優缺點如下:

  • 優點:數據與服務都無單點故障,Master宕機情況下,消息無延遲,服務可用性與數據可用性都非常高;
  • 缺點:性能比異步復制模式略低(大約低10%左右),發送單個消息的RT會略高,且目前版本在主節點宕機后,備機不能自動切換為主機。

3 雙主雙從集群搭建

3.1 總體架構

消息高可用采用2master-2slave(同步雙寫)方式

3.2 集群工作流程

  1. 啟動NameServerNameServer起來后監聽端口,等待BrokerProducerConsumer連上來,相當於一個路由控制中心。
  2. Broker啟動,跟所有的NameServer保持長連接,定時發送心跳包。心跳包中包含當前Broker信息(IP+端口等)以及存儲所有Topic信息。注冊成功后,NameServer集群中就有TopicBroker的映射關系。
  3. 收發消息前,先創建Topic,創建Topic時需要指定該Topic要存儲在哪些Broker上,也可以在發送消息時自動創建Topic
  4. Producer發送消息,啟動時先跟NameServer集群中的其中一台建立長連接,並從NameServer中獲取當前發送的Topic存在哪些Broker上,輪詢從隊列列表中選擇一個隊列,然后與隊列所在的Broker建立長連接從而向Broker發消息。
  5. ConsumerProducer類似,跟其中一台NameServer建立長連接,獲取當前訂閱Topic存在哪些Broker上,然后直接跟Broker建立連接通道,開始消費消息。

3.3 服務器環境

序號 IP 角色 架構模式
1 192.168.2.12 nameserver、brokerserver Master1、Slave2
2 192.168.2.13 nameserver、brokerserver Master2、Slave1

3.4 Host添加信息

vim /etc/hosts

配置如下:

# nameserver
192.168.2.12 rocketmq-nameserver1
192.168.2.13 rocketmq-nameserver2
# broker
192.168.2.12 rocketmq-master1
192.168.2.12 rocketmq-slave2
192.168.2.13 rocketmq-master2
192.168.2.13 rocketmq-slave1

配置完成后, 重啟網卡

systemctl restart network

3.5 防火牆配置

宿主機需要遠程訪問虛擬機的rocketmq服務和web服務,需要開放相關的端口號,簡單粗暴的方式是直接關閉防火牆

# 關閉防火牆
systemctl stop firewalld.service 
# 查看防火牆的狀態
firewall-cmd --state 
# 禁止firewall開機啟動
systemctl disable firewalld.service

或者為了安全,只開放特定的端口號,RocketMQ默認使用3個端口:9876 、10911 、11011 。如果防火牆沒有關閉的話,那么防火牆就必須開放這些端口:

  • nameserver 默認使用 9876 端口
  • master 默認使用 10911 端口
  • slave 默認使用11011 端口

執行以下命令:

# 開放name server默認端口
firewall-cmd --remove-port=9876/tcp --permanent
# 開放master默認端口
firewall-cmd --remove-port=10911/tcp --permanent
# 開放slave默認端口 (當前集群模式可不開啟)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重啟防火牆
firewall-cmd --reload

3.6 環境變量配置

vim /etc/profile

profile文件的末尾加入如下命令

#set rocketmq 該目錄為rocketmq二進制包解壓目錄
ROCKETMQ_HOME=/usr/local/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

輸入:wq! 保存並退出, 並使得配置立刻生效:

source /etc/profile

3.7 創建消息存儲路徑

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

3.8 broker配置文件

1)master1

服務器:192.168.2.12

vim /usr/local/rocketmq/conf/2m-2s-sync/new-broker-a.properties

修改配置如下:

#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此處不同的配置文件填寫的不一樣
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer地址,分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時,自動創建服務器不存在的topic,默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic,建議線下開啟,線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組,建議線下開啟,線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點,默認凌晨 4點
deleteWhen=04
#文件保留時間,默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條,根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

2)slave2

服務器:192.168.2.12

vim /usr/local/rocketmq/conf/2m-2s-sync/new-broker-b-s.properties

修改配置如下:

#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此處不同的配置文件填寫的不一樣
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer地址,分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時,自動創建服務器不存在的topic,默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic,建議線下開啟,線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組,建議線下開啟,線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=11011
#刪除文件時間點,默認凌晨 4點
deleteWhen=04
#文件保留時間,默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條,根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

3)master2

服務器:192.168.2.13

vim /usr/local/rocketmq/conf/2m-2s-sync/new-broker-b.properties

修改配置如下:

#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此處不同的配置文件填寫的不一樣
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer地址,分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時,自動創建服務器不存在的topic,默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic,建議線下開啟,線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組,建議線下開啟,線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點,默認凌晨 4點
deleteWhen=04
#文件保留時間,默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條,根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

4)slave1

服務器:192.168.2.13

vim /usr/local/rocketmq/conf/2m-2s-sync/new-broker-a-s.properties

修改配置如下:

#所屬集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此處不同的配置文件填寫的不一樣
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer地址,分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時,自動創建服務器不存在的topic,默認創建的隊列數
defaultTopicQueueNums=4
#是否允許 Broker 自動創建Topic,建議線下開啟,線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動創建訂閱組,建議線下開啟,線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=11011
#刪除文件時間點,默認凌晨 4點
deleteWhen=04
#文件保留時間,默認 48 小時
fileReservedTime=120
#commitLog每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個文件默認存30W條,根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

3.9 修改啟動腳本文件

1)runbroker.sh

vi /usr/local/rocketmq/bin/runbroker.sh

需要根據內存大小進行適當的對JVM參數進行調整:

#===================================================
# 開發環境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

2)runserver.sh

vim /usr/local/rocketmq/bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

3.10 服務啟動

1)啟動NameServer集群

分別在192.168.2.12192.168.2.13啟動NameServer

cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &

2)啟動Broker集群

  • 192.168.2.12上啟動master1slave2

master1

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/new-broker-a.properties &

slave2

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/new-broker-b-s.properties &

  • 192.168.2.13上啟動master2slave2

master2

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/new-broker-b.properties &

slave1

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/new-broker-a-s.properties &

3.11 查看進程狀態

啟動后通過JPS查看啟動進程


3.12 查看日志

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

4 mqadmin管理工具

4.1 使用方式

進入RocketMQ安裝位置,在bin目錄下執行./mqadmin {command} {args}

4.2 命令介紹

1)Topic相關

名稱 含義 命令選項 說明
updateTopic 創建更新Topic配置 -b Broker 地址,表示 topic 所在 Broker,只支持單台Broker,地址為ip:port
-c cluster 名稱,表示 topic 所在集群(集群可通過 clusterList 查詢)
-h- 打印幫助
-n NameServer服務地址,格式 ip:port
-p 指定新topic的讀寫權限( W=2|R=4|WR=6 )
-r 可讀隊列數(默認為 8)
-w 可寫隊列數(默認為 8)
-t topic 名稱(名稱只能使用字符 ^[a-zA-Z0-9_-]+$ )
deleteTopic 刪除Topic -c cluster 名稱,表示刪除某集群下的某個 topic (集群 可通過 clusterList 查詢)
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
-t topic 名稱(名稱只能使用字符 ^[a-zA-Z0-9_-]+$ )
topicList 查看 Topic 列表信息 -h 打印幫助
-c 不配置-c只返回topic列表,增加-c返回clusterName, topic, consumerGroup信息,即topic的所屬集群和訂閱關系,沒有參數
-n NameServer 服務地址,格式 ip:port
topicRoute 查看 Topic 路由信息 -t topic 名稱
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
topicStatus 查看 Topic 消息隊列offset -t topic 名稱
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
topicClusterList 查看 Topic 所在集群列表 -t topic 名稱
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
updateTopicPerm 更新 Topic 讀寫權限 -t topic 名稱
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
-b Broker 地址,表示 topic 所在 Broker,只支持單台Broker,地址為ip:port
-p 指定新 topic 的讀寫權限( W=2|R=4|WR=6 )
-c cluster 名稱,表示 topic 所在集群(集群可通過 clusterList 查詢),-b優先,如果沒有-b,則對集群中所有Broker執行命令
updateOrderConf 從NameServer上創建、刪除、獲取特定命名空間的kv配置,目前還未啟用 -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-t topic,鍵
-v orderConf,值
-m method,可選get、put、delete
allocateMQ 以平均負載算法計算消費者列表負載消息隊列的負載結果 -t topic 名稱
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
-i ipList,用逗號分隔,計算這些ip去負載Topic的消息隊列
statsAll 打印Topic訂閱關系、TPS、積累量、24h讀寫總量等信息 -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-a 是否只打印活躍topic
-t 指定topic
#### 2)集群相關
名稱 含義 命令選項 說明
clusterList 查看集群信息,集群、BrokerName、BrokerId、TPS等信息 -m 打印更多信息 (增加打印出如下信息 #InTotalYest, #OutTotalYest, #InTotalToday ,#OutTotalToday)
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
-i 打印間隔,單位秒
clusterRT 發送消息檢測集群各Broker RT。消息發往${BrokerName} Topic。 -a amount,每次探測的總數,RT = 總時間 / amount
-s 消息大小,單位B
-c 探測哪個集群
-p 是否打印格式化日志,以|分割,默認不打印
-h 打印幫助
-m 所屬機房,打印使用
-i 發送間隔,單位秒
-n NameServer 服務地址,格式 ip:port
#### 3)Broker相關
名稱 含義 命令選項 說明
updateBrokerConfig 更新 Broker 配置文件,會修改Broker.conf -b Broker 地址,格式為ip:port
-c cluster 名稱
-k key 值
-v value 值
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
brokerStatus 查看 Broker 統計信息、運行狀態(你想要的信息幾乎都在里面) -b Broker 地址,地址為ip:port
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
brokerConsumeStats Broker中各個消費者的消費情況,按Message Queue維度返回Consume Offset,Broker Offset,Diff,TImestamp等信息 -b Broker 地址,地址為ip:port
-t 請求超時時間
-l diff閾值,超過閾值才打印
-o 是否為順序topic,一般為false
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
getBrokerConfig 獲取Broker配置 -b Broker 地址,地址為ip:port
-n NameServer 服務地址,格式 ip:port
wipeWritePerm 從NameServer上清除 Broker寫權限 -b Broker 地址,地址為ip:port
-n NameServer 服務地址,格式 ip:port
-h 打印幫助
cleanExpiredCQ 清理Broker上過期的Consume Queue,如果手動減少對列數可能產生過期隊列 -n NameServer 服務地址,格式 ip:port
-h 打印幫助
-b Broker 地址,地址為ip:port
-c 集群名稱
cleanUnusedTopic 清理Broker上不使用的Topic,從內存中釋放Topic的Consume Queue,如果手動刪除Topic會產生不使用的Topic -n NameServer 服務地址,格式 ip:port
-h 打印幫助
-b Broker 地址,地址為ip:port
-c 集群名稱
sendMsgStatus 向Broker發消息,返回發送狀態和RT -n NameServer 服務地址,格式 ip:port
-h 打印幫助
-b BrokerName,注意不同於Broker地址
-s 消息大小,單位B
-c 發送次數
#### 4)消息相關
名稱 含義 命令選項 說明
queryMsgById 根據offsetMsgId查詢msg,如果使用開源控制台,應使用offsetMsgId,此命令還有其他參數,具體作用請閱讀QueryMsgByIdSubCommand。 -i msgId
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
queryMsgByKey 根據消息 Key 查詢消息 -k msgKey
-t Topic 名稱
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
queryMsgByOffset 根據 Offset 查詢消息 -b Broker 名稱,(這里需要注意 填寫的是 Broker 的名稱,不是 Broker 的地址,Broker 名稱可以在 clusterList 查到)
-i query 隊列 id
-o offset 值
-t topic 名稱
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
queryMsgByUniqueKey 根據msgId查詢,msgId不同於offsetMsgId,區別詳見常見運維問題。-g,-d配合使用,查到消息后嘗試讓特定的消費者消費消息並返回消費結果 -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-i uniqe msg id
-g consumerGroup
-d clientId
-t topic名稱
checkMsgSendRT 檢測向topic發消息的RT,功能類似clusterRT -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-t topic名稱
-a 探測次數
-s 消息大小
sendMessage 發送一條消息,可以根據配置發往特定Message Queue,或普通發送。 -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-t topic名稱
-p body,消息體
-k keys
-c tags
-b BrokerName
-i queueId
consumeMessage 消費消息。可以根據offset、開始&結束時間戳、消息隊列消費消息,配置不同執行不同消費邏輯,詳見ConsumeMessageCommand。 -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-t topic名稱
-b BrokerName
-o 從offset開始消費
-i queueId
-g 消費者分組
-s 開始時間戳,格式詳見-h
-d 結束時間戳
-c 消費多少條消息
printMsg 從Broker消費消息並打印,可選時間段 -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-t topic名稱
-c 字符集,例如UTF-8
-s subExpress,過濾表達式
-b 開始時間戳,格式參見-h
-e 結束時間戳
-d 是否打印消息體
printMsgByQueue 類似printMsg,但指定Message Queue -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-t topic名稱
-i queueId
-a BrokerName
-c 字符集,例如UTF-8
-s subExpress,過濾表達式
-b 開始時間戳,格式參見-h
-e 結束時間戳
-p 是否打印消息
-d 是否打印消息體
-f 是否統計tag數量並打印
resetOffsetByTime 按時間戳重置offset,Broker和consumer都會重置 -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-g 消費者分組
-t topic名稱
-s 重置為此時間戳對應的offset
-f 是否強制重置,如果false,只支持回溯offset,如果true,不管時間戳對應offset與consumeOffset關系
-c 是否重置c++客戶端offset

5)消費者、消費組相關

名稱 含義 命令選項 說明
consumerProgress 查看訂閱組消費狀態,可以查看具體的client IP的消息積累量 -g 消費者所屬組名
-s 是否打印client IP
-h 打印幫助
-n NameServer 服務地址,格式 ip:port
consumerStatus 查看消費者狀態,包括同一個分組中是否都是相同的訂閱,分析Process Queue是否堆積,返回消費者jstack結果,內容較多,使用者參見ConsumerStatusSubCommand -h 打印幫助
-n NameServer 服務地址,格式 ip:port
-g consumer group
-i clientId
-s 是否執行jstack
getConsumerStatus 獲取 Consumer 消費進度 -g 消費者所屬組名
-t 查詢主題
-i Consumer 客戶端 ip
-n NameServer 服務地址,格式 ip:port
-h 打印幫助
updateSubGroup 更新或創建訂閱關系 -n NameServer 服務地址,格式 ip:port
-h 打印幫助
-b Broker地址
-c 集群名稱
-g 消費者分組名稱
-s 分組是否允許消費
-m 是否從最小offset開始消費
-d 是否是廣播模式
-q 重試隊列數量
-r 最大重試次數
-i 當slaveReadEnable開啟時有效,且還未達到從slave消費時建議從哪個BrokerId消費,可以配置備機id,主動從備機消費
-w 如果Broker建議從slave消費,配置決定從哪個slave消費,配置BrokerId,例如1
-a 當消費者數量變化時是否通知其他消費者負載均衡
deleteSubGroup 從Broker刪除訂閱關系 -n NameServer 服務地址,格式 ip:port
-h 打印幫助
-b Broker地址
-c 集群名稱
-g 消費者分組名稱
cloneGroupOffset 在目標群組中使用源群組的offset -n NameServer 服務地址,格式 ip:port
-h 打印幫助
-s 源消費者組
-d 目標消費者組
-t topic名稱
-o 暫未使用

6)連接相關

名稱 含義 命令選項 說明
consumerConnec tion 查詢 Consumer 的網絡連接 -g 消費者所屬組名
-n NameServer 服務地址,格式 ip:port
-h 打印幫助
producerConnec tion 查詢 Producer 的網絡連接 -g 生產者所屬組名
-t 主題名稱
-n NameServer 服務地址,格式 ip:port
-h 打印幫助

7)NameServer相關

名稱 含義 命令選項 說明
updateKvConfig 更新NameServer的kv配置,目前還未使用 -s 命名空間
-k key
-v value
-n NameServer 服務地址,格式 ip:port
-h 打印幫助
deleteKvConfig 刪除NameServer的kv配置 -s 命名空間
-k key
-n NameServer 服務地址,格式 ip:port
-h 打印幫助
getNamesrvConfig 獲取NameServer配置 -n NameServer 服務地址,格式 ip:port
-h 打印幫助
updateNamesrvConfig 修改NameServer配置 -n NameServer 服務地址,格式 ip:port
-h 打印幫助
-k key
-v value

8)其他

名稱 含義 命令選項 說明
startMonitoring 開啟監控進程,監控消息誤刪、重試隊列消息數等 -n NameServer 服務地址,格式 ip:port
-h 打印幫助

4.3 注意事項

  • 幾乎所有命令都需要配置-n表示NameServer地址,格式為ip:port
  • 幾乎所有命令都可以通過-h獲取幫助
  • 如果既有Broker地址(-b)配置項又有clusterName(-c)配置項,則優先以Broker地址執行命令;如果不配置Broker地址,則對集群中所有主機執行命令


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM