Docker 部署 RocketMQ 雙主雙從模式（版本v4.7.0）

本文轉載自查看原文 2022-04-07 14:48 1063 Docker/ RocketMQ

文章轉載自：http://www.mydlq.club/article/96/

系統環境：

系統版本：CentOS 7.8
RocketMQ 版本：4.7.0
Docker 版本：19.03.13

一、RocketMQ 簡介

RocketMQ是一個純 Java、分布式、隊列模型的開源消息中間件，前身是 MetaQ，是阿里參考 Kafka 特點研發的一個隊列模型的消息中間件，后開源給 Apache 基金會成為了 Apache 的頂級開源項目，具有高性能、高可靠、高實時、分布式特點。

二、RocketMQ 需部署的組件

這里介紹下 RocketMQ 相關的組件：

名字服務（Name Server）：是一個幾乎無狀態節點，可集群部署，集群節點間相互獨立沒有信息交換。其功能主要為更新和發現 Broker 服務，生產者或消費者能夠通過其查找到各主題相應的 Broker IP 列表。
代理服務（Broker Server）：消息中轉角色，負責存儲消息，轉發消息。分為 Master Broker 和 Slave Broker，一個 Master Broker 可以對應多個 Slave Broker，但是一個 Slave Broker 只能對應一個 Master Broker。Broker 啟動后需要完成一次將自己注冊至 Name Server 的操作，隨后每隔 30s 定期向Name Server 上報 Topic 路由信息。
生產者：與 Name Server 集群中的其中一個節點（隨機）建立長鏈接（Keep-alive），定期從 Name Server 讀取 Topic 路由信息，並向提供 Topic 服務的 Master Broker 建立長鏈接，且定時向 Master Broker 發送心跳。
消費者：與 Name Server 集群中的其中一個節點（隨機）建立長連接，定期從 Name Server 拉取 Topic 路由信息，並向提供 Topic 服務的 Master Broker、Slave Broker建立長連接，且定時向 Master Broker、Slave Broker 發送心跳。Consumer 既可以從 Master Broker 訂閱消息，也可以從 Slave Broker 訂閱消息，訂閱規則由 Broker 配置決定。
控制台（console）： RocketMQ 的 Web 可視化控制台，包含 RocketMQ 常用操作，可以用於簡單管理 RocketMQ 平台。

三、RocketMQ 常用部署模式

RocketMQ 常用部署方案有以下幾種：

單機模式
多主模式
雙主雙從/多主多從模式（異步復制）
雙主雙從/多主多從模式（同步雙寫）
Dledger 集群模式

(1)、單機模式

這種模式就如該名單機模式一樣，就是部署單個 RocketMQ Broker 來使用，一般使用這種方式在生產中風險較大，一旦 Broker 重啟或者宕機時，會導致整個服務不可用，所以常常在學習、開發過程中才會使用這種模式。

優缺點分析：
優點：本地開發測試，配置簡單，同步刷盤消息不會丟失。
缺點：不可靠，如果宕機會導致服務不可用。

(2)、多主模式

全部由 Broker Master 節點組成（即可能部署兩個或者更多 Broker），生產者發送的數據會分別存入不同的 Broker 中，這樣能夠避免某個 Broker 一直接收處理數據從而負載過高。

優缺點分析：
優點：性能高，配置簡單，單個 Master 宕機或重啟維護對應用無影響，在磁盤配置為 RAID10 時，即使機器宕機不可恢復，由於 RAID10 磁盤非常可靠，消息也不會丟（異步刷盤可能會丟失少量消息，同步刷盤能保證消息不丟）。
缺點：單台服務器宕機期間，不可訂閱該服務器上未被消費者消費的消息，只有機器恢復后才可恢復訂閱，所以可能會影響消息的實時性。

(3)、雙主雙從/多主多從模式（異步復制）

一般會部署多個 Broker Master，同時也會為各個 Broker Master 部署一個或者多個 Broker Slave，且 Master 和 Slave 之間采用"異步復制數據"方式進行數據同步（主從同步消息會有延遲，毫秒級），這樣在生產者將消息發送到 Broker Master 后不必等待數據同步到 Slave 節點，就返回成功。

優缺點分析：
優點：性能高，且磁盤損壞也不會丟失大量消息，消息實時性不會受影響，Master 宕機后，消費者仍然可以從 Slave 消費。
缺點：主備有短暫消息延遲，毫秒級，如果Master宕機，磁盤損壞情況，會丟失少量消息。

(4)、雙主雙從/多主多從模式（同步雙寫）

一般會部署多個 Broker Master，同時也會為各個 Broker Master 部署一個或者多個 Broker Slave，且 Master 和 Slave 之間采用"同步復制數據"方式進行數據同步，這樣在生產者將消息發送到 Broker Master 后需要等待數據同步到 Slave 節點成功后，才返回成功。

優缺點分析：

優點：數據與服務都無單點故障，Master 宕機情況下，消息無延遲，服務可用性與數據可用性都非常高；
缺點：性能比異步復制模式略低（大約低10%左右），發送單個消息的 RT 會略高，且目前版本在主節點宕機后，備機不能自動切換為主機。

(5)、Dledger 集群模式

RocketMQ-on-DLedger Group 是指一組相同名稱的 Broker，至少需要 3 個節點，通過 Raft 自動選舉出一個 Leader，其余節點作為 Follower，並在 Leader 和 Follower 之間復制數據以保證高可用。當 Master 節點出現問題宕機后也能自動容災切換，並保證數據一致性。該模式也支持 Broker 水平擴展，即可以部署任意多個 RocketMQ-on-DLedger Group 同時對外提供服務。

優缺點分析：
優點：多節點（至少三個）組成集群，其中一個為 Leader 節點，其余為 Follower 節點組成高可用，能夠自動容災切換。
缺點：需要 RocketMQ 4.5 及以后版本才支持。

四、RocketMQ 常見概念介紹

1、異步復制與同步復制
在使用 RocketMQ 中，生產者集群將數據傳入到 Broker Master 節點后，Master 節點會將數據同步到 Slave 節點，其有兩種同步方式：

異步復制（SYNC_MASTER）：生產者將數據發送到 Broker Master 節點后，Master 會直接使用異步方式將數據同步到 Slave 節點，然后不等待 Slave 節點響應接收成功就直接告知生產者消息接收成。
同步雙寫（SYNC_MASTER）：生產者將數據發送到 Broker Master 節點后，Master 會使用同步方式將數據同步到 Slave 節點，然后等待 Slave 節點響應接收數據成功，然后再告知生產者消息接收成。

2、同步刷盤與異步刷盤
在使用 RocketMQ 中，生產者集群將數據傳入到 Broker 后，Broker 會將數據進行持久化操作，其因性能與數據安全性等原因，所以提供兩種方式將數據持久化到硬盤，兩種刷盤方式分別是：

同步刷盤（SYNC_FLUSH）：生產者發送的每一條消息都在保存到磁盤成功后才返回告訴生產者消息發送成功。這種方式不會存在消息丟失的問題，但是有很大的磁盤 IO 開銷，對性能產生一些影響。
異步刷盤（ASYNC_FLUSH）：生產者發送的每一條消息並不是立即保存到磁盤，而是暫時緩存到內存，然后就立即返回生產者，告知其消息發送成功。隨后再異步的將緩存數據保存到磁盤，這里分兩種情況：(1)、定期將緩存中更新的數據進行刷盤。(2)、當緩存中更新的數據條數達到某一設定值后進行刷盤。需要注意的是，這種方式都存在消息可能丟失情況（在還未來得及同步到磁盤的時候宕機），不過由於其性能比"同步刷盤"要好，所以大多情況下都會選擇這種刷盤方式，且該方式也是 RocketMQ 的默認刷盤方式。

3、雙主雙從/多主多從模式

一般會部署多個 Broker Master，同時也會為各個 Broker Master 部署一個或者多個 Broker Slave，不過需要注意的是，當 Broker Master 宕機后，Broker Slave 並不能轉換為 Master 節點，這里的 Slave 只會起到數據備份以及 Broker Master 宕機時間內消費者能夠繼續消費宕機前生產者發送到 Broker Master 的數據。

多主多從模式下的 Broker 之間會進行數據同步，其中同步方式可以是"異步復制"，也可以是"同步復制"。這其中也會涉及數據持久化刷盤方式，刷盤方式也是分為"同步刷盤"與"異步刷盤"兩種，數據復制與刷盤方式上面都有介紹，這里就不再陳述。這里主要要說的是其不同的"數據復制"與"刷盤方式"對性能的影響。例如，生產者將數據發送到 Broker 后，如果為"同步刷盤"那么只有將數據寫入磁盤成功后才能響應成功。如果為"異步刷盤"那么將數據寫入內存中即可返回成功。其中"同步刷盤"對性能影響較大。

使用多主多從模式部署 RocketMQ 的 Broker，一般我們大部分都會選擇"同步復制"，"異步刷盤"方式的組合進行部署，當然，如果對數據安全性要求不是很高，可以選擇"異步復制"與"異步刷盤"方式來部署 Broker。

4、Broker 常用配置參數簡介

參數名	默認值	描述
listenPort	10911	監聽端口
namesrvAddr		Namesrv 地址
brokerIP1	用於網絡接口的 InetAddress	指定 Broker 的 IP 地址，向 Namesrv 注冊時候會注冊此地址
brokerName		Broker 名稱
brokerClusterName		指定 Broker 歸屬的集群的名稱
brokerId	0	Broker ID, 0 表示 Master，大於 0 表示 Slave
storePathCommitLog	$HOME/store/commitlog/	commitlog 的文件存儲路徑
storePathConsumerQueue	$HOME/store/consumequeue/	comsumer queue 的文件存儲路徑
mapedFileSizeCommitLog	1024 * 1024 * 1024(1G)	commitlog 映射文件大小
deleteWhen	04	磁盤文件空間充足情況下，默認每天什么時候執行刪除過期文件，默認 04 表示凌晨 4 點
fileReserverdTime	72	設置 commitlog 日志保留時間
brokerRole	ASYNC_MASTER	broker角色，分為 ASYNC_MASTER SYNC_MASTER, SLAVE
flushDiskType	ASYNC_FLUSH	刷盤方式，默認為 ASYNC_FLUSH(異步刷盤)，可選值SYNC_FLUSH(同步刷盤)

五、部署 RcoketMQ 雙主雙從模式（同步雙寫）

部署服務器安排

服務器	部署的應用	物理資源	存儲目錄
192.168.2.21	Namesrv Server、Broker、Console	4C && 8G	/usr/local/rocketmq
192.168.2.22	Namesrv Server、Broker	4C && 8G	/usr/local/rocketmq
192.168.2.23	Namesrv Server、Broker	4C && 8G	/usr/local/rocketmq

部署的內容如下圖所示：

1、創建存儲數據的目錄
分別在 192.168.2.21、192.168.2.22 服務器上執行下面命令創建目錄：

## 創建 Broker-Master 持久化目錄
$ mkdir -p /usr/local/rocketmq/broker-master/conf && \
  mkdir -p /usr/local/rocketmq/broker-master/logs && \
  mkdir -p /usr/local/rocketmq/broker-master/store 

## 創建 Broker-Slave 持久化目錄
$ mkdir -p /usr/local/rocketmq/broker-slave/conf && \
  mkdir -p /usr/local/rocketmq/broker-slave/logs && \
  mkdir -p /usr/local/rocketmq/broker-slave/store 

## 創建 NameServer 持久化目錄
$ mkdir -p /usr/local/rocketmq/server/logs

2、創建 Broker 配置文件

在各個服務器上分別創建如下文件：

服務器 192.168.2.21：創建 master-a、slave-b 配置文件
服務器 192.168.2.22：創建 master-b、slave-a 配置文件

第一台服務器創建 master-a 配置：

$ cat > /usr/local/rocketmq/broker-master/conf/broker.conf << EOF

listenPort=10911
brokerIP1=192.168.2.21
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerRole=SYNC_MASTER
brokerId=0
deleteWhen=04
fileReservedTime=48
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.2.21:9876;192.168.2.22:9876
EOF

第一台服務器創建 slave-b 配置：

$ cat > /usr/local/rocketmq/broker-slave/conf/broker.conf << EOF

listenPort=11911
brokerIP1=192.168.2.21
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerRole=SLAVE
brokerId=1
deleteWhen=04
fileReservedTime=48
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.2.21:9876;192.168.2.22:9876
EOF

第二台服務器創建 master-b 配置：

$ cat > /usr/local/rocketmq/broker-master/conf/broker.conf << EOF

listenPort=10911
brokerIP1=192.168.2.22
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerRole=SYNC_MASTER
brokerId=0
deleteWhen=04
fileReservedTime=48
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.2.21:9876;192.168.2.22:9876
EOF

第二台服務器創建 slave-a 配置：

$ cat > /usr/local/rocketmq/broker-slave/conf/broker.conf << EOF

listenPort=11911
brokerIP1=192.168.2.22
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerRole=SLAVE
brokerId=1
deleteWhen=04
fileReservedTime=48
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.2.21:9876;192.168.2.22:9876
EOF

3、下載相關鏡像

在兩台服務器上，分別創建拉取對應的鏡像：

服務器一 192.168.2.21：拉取 rocketmq 與 rocketmq-console 鏡像。
服務器二 192.168.2.22：拉取 rocketmq 鏡像。

兩台服務器分別拉取 RocketMQ 鏡像：

## 下載 RocketMQ 鏡像
$ docker pull foxiswho/rocketmq:4.7.0

第一台服務器拉取 RocketMQ Console 鏡像：

## 下載 RocketMQ 控制台
$ docker pull apacherocketmq/rocketmq-console:2.0.0

4、查看鏡像設置的用戶與組的配置
任意一台服務器上查看鏡像 rocketmq 的組成，分析其中用戶與組的信息：

$ docker history foxiswho/rocketmq:4.7.0

IMAGE               CREATED             CREATED BY                                      SIZE 
1cf46e8f03d0        7 months ago        /bin/sh -c #(nop) WORKDIR /home/rocketmq/roc…   0B                  
<missing>           7 months ago        /bin/sh -c #(nop)  USER rocketmq                0B                  
<missing>           7 months ago        |5 gid=3000 group=rocketmq uid=3000 user=roc…   1.92kB              
<missing>           7 months ago        |5 gid=3000 group=rocketmq uid=3000 user=roc…   0B                  
<missing>           7 months ago        |5 gid=3000 group=rocketmq uid=3000 user=roc…   11.3kB              
<missing>           7 months ago        /bin/sh -c #(nop)  EXPOSE 10909 10911 10912     0B                  
<missing>           7 months ago        |5 gid=3000 group=rocketmq uid=3000 user=roc…   10.1kB              
<missing>           7 months ago        /bin/sh -c #(nop)  EXPOSE 9876                  0B                  
<missing>           7 months ago        |5 gid=3000 group=rocketmq uid=3000 user=roc…   15.1MB              
<missing>           7 months ago        /bin/sh -c #(nop) COPY dir:bdc4a8518539da6ce…   11.4kB              
<missing>           7 months ago        |5 gid=3000 group=rocketmq uid=3000 user=roc…   15.1MB              
<missing>           7 months ago        /bin/sh -c #(nop) WORKDIR /home/rocketmq/roc…   0B                  
<missing>           7 months ago        /bin/sh -c #(nop)  ENV ROCKETMQ_HOME=/home/r…   0B                  
<missing>           7 months ago        /bin/sh -c #(nop)  ENV ROCKETMQ_VERSION=4.7.0   0B                  
<missing>           7 months ago        /bin/sh -c #(nop)  ARG version=4.7.0            0B                  
<missing>           7 months ago        |4 gid=3000 group=rocketmq uid=3000 user=roc…   1.07MB              
<missing>           7 months ago        /bin/sh -c #(nop)  ARG gid=3000                 0B                  
<missing>           7 months ago        /bin/sh -c #(nop)  ARG uid=3000                 0B                  
<missing>           7 months ago        /bin/sh -c #(nop)  ARG group=rocketmq           0B                  
<missing>           7 months ago        /bin/sh -c #(nop)  ARG user=rocketmq            0B                  
<missing>           7 months ago        /bin/sh -c yum install -y java-1.8.0-openjdk…   264MB               
<missing>           11 months ago       /bin/sh -c #(nop)  CMD ["/bin/bash"]            0B                  
<missing>           11 months ago       /bin/sh -c #(nop)  LABEL org.label-schema.sc…   0B                  
<missing>           11 months ago       /bin/sh -c #(nop) ADD file:45a381049c52b5664…   203MB

可以觀察到：

組名：rocketmq，組ID：3000
用戶名：rocketmq，用戶ID：3000

5、更改目錄歸屬組與用戶與容器的配置一致
兩台服務器上分別創建組與用戶：

## 創建組
$ groupadd rocketmq

## 增加用戶並加入組
$ useradd -g rocketmq rocketmq

## 設置用戶密碼
$ passwd rocketmq

## 更改組的 gid
$ groupmod -g 3000 rocketmq

## 更改用戶的 uid
$ usermod -u 3000 rocketmq

## 查看是否更改成功
$ id rocketmq

兩台服務器上分別更改上面創建的目錄的權限為上面創建的組與用戶：

$ chown -R rocketmq:rocketmq /usr/local/rocketmq

6、安裝 RocketMQ NameServer

兩台服務器上分別部署 NameServer：

$ docker run -d --name rmqnamesr --net host \
--restart=always \
-v /usr/local/rocketmq/server/logs:/home/rocketmq/logs \
-e "JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m" \
-p 9876:9876 \
foxiswho/rocketmq:4.7.0 \
sh mqnamesrv

7、安裝 RocketMQ Broker

分別在兩台服務器上執行下面命令，操作 Docker 啟動 Broker Master 與 Broker Slave 節點：

服務器 192.168.2.21： Broker master-a、Broker slave-b
服務器 192.168.2.22： Broker master-b、Broker slave-a

slave 的配置已經配置在 RocketMQ 配置文件中

服務器一部署 Broker master-a，服務器二部署 Broker master-b 的 Docker 命令：

$ docker run -d --name rmqbroker-master \
--restart=always \
--net host \
-v /usr/local/rocketmq/broker-master/logs:/home/rocketmq/logs \
-v /usr/local/rocketmq/broker-master/store:/home/rocketmq/store \
-v /usr/local/rocketmq/broker-master/conf:/home/rocketmq/conf \
-p 10909:10909 -p 10911:10911 -p 10912:10912  \
-e "JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m" \
foxiswho/rocketmq:4.7.0 \
sh mqbroker -c /home/rocketmq/conf/broker.conf

服務器一部署 Broker slave-b，服務器二部署 Broker slave-a 的 Docker 命令：

$ docker run -d --name rmqbroker-slave \
--restart=always \
--net host \
-v /usr/local/rocketmq/broker-slave/logs:/home/rocketmq/logs \
-v /usr/local/rocketmq/broker-slave/store:/home/rocketmq/store \
-v /usr/local/rocketmq/broker-slave/conf:/home/rocketmq/conf \
-p 11909:11909 -p 11911:11911 -p 11912:11912  \
-e "JAVA_OPT_EXT=-Xms512M -Xmx512M -Xmn128m" \
foxiswho/rocketmq:4.7.0 \
sh mqbroker -c /home/rocketmq/conf/broker.conf

8、部署控制台

服務器一部署 RocketMQ 控制台：

$ docker run -d --name rmqconsole \
--restart=always \
-p 8080:8080 \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.2.21:9876;192.168.2.22:9876 \
-Dcom.rocketmq.sendMessageWithVIPChannel=false" \
apacherocketmq/rocketmq-console:2.0.0

9、訪問控制台
輸入 http://192.168.2.21:8080 訪問在服務器一部署的 RocketMQ 控制台：

然后我們可以通過該控制台進行發送消息來驗證 RocketMQ 是否正常，這里就交由大家自行驗證了，文檔到此結束。

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 k8s部署rocketmq 雙主 OpenLDAP多主復制（基於docker容器模式部署） RocketMQ 4.5.1 雙主雙從異步復制環境搭建 docker 部署rocketmq RocketMQ學習筆記（16）----RocketMQ搭建雙主雙從（異步復制）集群 RocketMQ 單機部署（單master模式） POSTGRESQL主備部署模式 KingbaseES V8R6 集群“雙主”故障解決案例生產環境部署RocketMQ集群模式 mycat結合雙主復制實現讀寫分離模式

Docker 部署 RocketMQ 雙主雙從模式（ 版本v4.7.0）