Docker部署RocketMQ踩坑記錄

搜索鏡像

• 可以選擇在官方網站 hub.docker.com 上搜索鏡像；
• 或者在命令行界面中執行命令 docker search rocketmq 搜索鏡像；

以下表格是排名靠前的鏡像對比：

鏡像名稱	下載量Downloads	收藏數Stars	最后維護時間	說明文檔
foxiswho/rocketmq	500K+	54	7個月前	有文檔
rocketmqinc/rocketmq	100K+	51	2年前	無文檔

沒有官方的鏡像，看起來 foxiswho/rocketmq 總體認可度較高，就決定使用這個鏡像。

下載鏡像

在命令行界面中執行以下命令：

docker pull foxiswho/rocketmq

下載完成后，可以繼續在命令行界面執行 docker images 命令查看鏡像是否下載成功。

關於版本的問題，有點小插曲，我以為 latest 默認是 4.8.0，但是其實結果不然，在宿主機命令行窗口執行后發現：

docker image inspect foxiswho/rocketmq:latest | findstr "VERSION"

latest 版本下載下來是 4.5.2，這一點是寫Java客戶端的時候才發現的。

如果使用控制台功能，可以下載另一個鏡像 styletang/rocketmq-console-ng：

docker pull styletang/rocketmq-console-ng

docker-compose.yml

version: '3.5'
services:
  rmqnamesrv:
    image: foxiswho/rocketmq
    container_name: rmqnamesrv
    ports:
      - 9876:9876
    volumes:
      - ./data/logs:/opt/logs
      - ./data/store:/opt/store
    command: sh mqnamesrv
    networks:
        rmq:
          aliases:
            - rmqnamesrv

  rmqbroker:
    image: foxiswho/rocketmq
    container_name: rmqbroker
    ports:
      - 10909:10909
      - 10911:10911
    volumes:
      - ./data/logs:/opt/logs
      - ./data/store:/opt/store
      - ./data/brokerconf/broker.conf:/etc/rocketmq/broker.conf
    environment:
        NAMESRV_ADDR: "rmqnamesrv:9876"
        JAVA_OPTS: " -Duser.home=/opt"
        JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"
    command: sh mqbroker -c /etc/rocketmq/broker.conf
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqbroker

  rmqconsole:
    image: styletang/rocketmq-console-ng
    container_name: rmqconsole
    ports:
      - 8080:8080
    environment:
        JAVA_OPTS: "-Drocketmq.namesrv.addr=rmqnamesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false"
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqconsole

networks:
  rmq:
    name: rmq
    driver: bridge

參考自《基於 Docker 安裝 RocketMQ》

注意本文中的文件有所改動，4.7.0 及以后 版本鏡像 將 不在根據base鏡像生成 server，broker 鏡像，統一使用 base 鏡像，兩者區別只是調用的 啟動文件不同。
所以， 啟動容器 rmqnamesrv 對應 command: sh mqnamesrv；啟動容器 rmqbroker 對應 command: sh mqbroker -c /etc/rocketmq/broker.conf；

嘗試運行

此時，我們在命令行界面，運行以下命令（注意當前命令行工作目錄應該是 docker-compose.yml 文件所在目錄）

docker-compose up -d

比如我的命令行當前工作目錄是 F:\Docker\rocketmq

但是，我執行 docker ps 時，發現只有 rmqconsole 正常啟動，而 rmqnamesrv 和 rmqbroker 啟動失敗了。

F:\Docker\rocketmq> docker logs rmqbroker
java.io.FileNotFoundException: /etc/rocketmq/broker.conf (Is a directory)
        at java.io.FileInputStream.open0(Native Method)
        at java.io.FileInputStream.open(FileInputStream.java:195)
        at java.io.FileInputStream.<init>(FileInputStream.java:138)
        at java.io.FileInputStream.<init>(FileInputStream.java:93)
        at org.apache.rocketmq.broker.BrokerStartup.createBrokerController(BrokerStartup.java:128)
        at org.apache.rocketmq.broker.BrokerStartup.main(BrokerStartup.java:58)
java.io.FileNotFoundException: /etc/rocketmq/broker.conf (Is a directory)
        at java.io.FileInputStream.open0(Native Method)
        at java.io.FileInputStream.open(FileInputStream.java:195)
        at java.io.FileInputStream.<init>(FileInputStream.java:138)
        at java.io.FileInputStream.<init>(FileInputStream.java:93)
        at org.apache.rocketmq.broker.BrokerStartup.createBrokerController(BrokerStartup.java:128)
        at org.apache.rocketmq.broker.BrokerStartup.main(BrokerStartup.java:58)

在本例中，Windows 宿主機的 F:\Docker\rocketmq\data\brokerconf\broker.conf 對應容器中的 /etc/rocketmq/broker.conf，但是問題是：現在前者是個文件夾，而不是文件。

broker.conf

RocketMQ Broker 需要一個配置文件，按照上面的 Compose 配置，我們需要在 ./data/brokerconf/ 目錄下創建一個名為 broker.conf 的配置文件，內容如下：

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
#  Unless required by applicable law or agreed to in writing, software
#  distributed under the License is distributed on an "AS IS" BASIS,
#  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#  See the License for the specific language governing permissions and
#  limitations under the License.


# 所屬集群名字
brokerClusterName=DefaultCluster

# broker 名字，注意此處不同的配置文件填寫的不一樣，如果在 broker-a.properties 使用: broker-a,
# 在 broker-b.properties 使用: broker-b
brokerName=broker-a

# 0 表示 Master，> 0 表示 Slave
brokerId=0

# nameServer地址，分號分割
# namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

# 啟動IP,如果 docker 報 com.alibaba.rocketmq.remoting.exception.RemotingConnectException: connect to <192.168.0.120:10909> failed
# 解決方式1 加上一句 producer.setVipChannelEnabled(false);，解決方式2 brokerIP1 設置宿主機IP，不要使用docker 內部IP
# brokerIP1=192.168.0.253

# 在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
defaultTopicQueueNums=4

# 是否允許 Broker 自動創建 Topic，建議線下開啟，線上關閉 ！！！這里仔細看是 false，false，false
autoCreateTopicEnable=true

# 是否允許 Broker 自動創建訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true

# Broker 對外服務的監聽端口
listenPort=10911

# 刪除文件時間點，默認凌晨4點
deleteWhen=04

# 文件保留時間，默認48小時
fileReservedTime=120

# commitLog 每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824

# ConsumeQueue 每個文件默認存 30W 條，根據業務情況調整
mapedFileSizeConsumeQueue=300000

# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
# 存儲路徑
# storePathRootDir=/home/ztztdata/rocketmq-all-4.1.0-incubating/store
# commitLog 存儲路徑
# storePathCommitLog=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/commitlog
# 消費隊列存儲
# storePathConsumeQueue=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/consumequeue
# 消息索引存儲路徑
# storePathIndex=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/index
# checkpoint 文件存儲路徑
# storeCheckpoint=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/checkpoint
# abort 文件存儲路徑
# abortFile=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/abort
# 限制的消息大小
maxMessageSize=65536

# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000

# Broker 的角色
# - ASYNC_MASTER 異步復制Master
# - SYNC_MASTER 同步雙寫Master
# - SLAVE
brokerRole=ASYNC_MASTER

# 刷盤方式
# - ASYNC_FLUSH 異步刷盤
# - SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH

# 發消息線程池數量
# sendMessageThreadPoolNums=128
# 拉消息線程池數量
# pullMessageThreadPoolNums=128

訪問控制台

接着，我在宿主機上訪問 http://localhost:8080 就可以登入控制台了。

• 右上角有一個“切換語言”的功能，可以自由切換中文和英文；
• 選擇某個主題時，可以向該主題發送一條消息；

發送消息時需要填寫 tag、key、body：

發送成功以后，可以在消息一欄搜索到剛才發送出去的消息以及歷史消息：

客戶端代碼

在 Maven 項目中引入依賴：

<dependencies>
    <dependency>
        <groupId>org.apache.rocketmq</groupId>
        <artifactId>rocketmq-client</artifactId>
        <version>4.5.2</version>
    </dependency>
</dependencies>

之所以選擇 4.5.2 這個版本是因為我們通過 docker exec -it rmqbroker ps -ef 命令查詢到當前容器對應的 broker 版本是 4.5.2。因此，我選擇了一個版本相同的rocketmq客戶端。

寫一個Java生產客戶端：

package org.coderead.rocketmq;

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class SyncProducer {

    public static void main(String[] args) throws Exception {
        //Instantiate with a producer group name.
        DefaultMQProducer producer = new
                DefaultMQProducer("producer-group-1");
        // Specify name server addresses.
        producer.setNamesrvAddr("localhost:9876");
        //Launch the instance.
        producer.start();
        //Create a message instance, specifying topic, tag and message body.
        Message msg = new Message("broker-a" /* Topic */,
                "TagA" /* Tag */,
                ("Hello RocketMQ.").getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
        );
        //Call send message to deliver message to one of brokers.
        SendResult sendResult = producer.send(msg);
        System.out.printf("%s%n", sendResult);
        //Shut down once the producer instance is not longer in use.
        producer.shutdown();
    }
}

客戶端踩坑記錄

★ org.apache.rocketmq.remoting.exception.RemotingTooMuchRequestException: sendDefaultImpl call timeout

Exception in thread "main" org.apache.rocketmq.remoting.exception.RemotingTooMuchRequestException: sendDefaultImpl call timeout
	at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.sendDefaultImpl(DefaultMQProducerImpl.java:640)
	at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.send(DefaultMQProducerImpl.java:1310)
	at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.send(DefaultMQProducerImpl.java:1256)
	at org.apache.rocketmq.client.producer.DefaultMQProducer.send(DefaultMQProducer.java:339)
	at org.coderead.rocketmq.SyncProducer.main(SyncProducer.java:24)

超時問題，解決方案是給producer設置一下發送超時時間：

// 這段代碼放在 producer.start() 之前
producer.setSendMsgTimeout(10000);

參考自 https://blog.csdn.net/q1335882/article/details/114842345

★ org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <172.19.0.4:10911> failed

Exception in thread "main" org.apache.rocketmq.client.exception.MQClientException: Send [3] times, still failed, cost [6433]ms, Topic: broker-a, BrokersSent: [broker-a, broker-a, broker-a]
See http://rocketmq.apache.org/docs/faq/ for further details.
	at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.sendDefaultImpl(DefaultMQProducerImpl.java:638)
	at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.send(DefaultMQProducerImpl.java:1310)
	at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.send(DefaultMQProducerImpl.java:1256)
	at org.apache.rocketmq.client.producer.DefaultMQProducer.send(DefaultMQProducer.java:339)
	at org.coderead.rocketmq.SyncProducer.main(SyncProducer.java:25)
Caused by: org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <172.19.0.4:10911> failed
	at org.apache.rocketmq.remoting.netty.NettyRemotingClient.invokeSync(NettyRemotingClient.java:392)
	at org.apache.rocketmq.client.impl.MQClientAPIImpl.sendMessageSync(MQClientAPIImpl.java:465)
	at org.apache.rocketmq.client.impl.MQClientAPIImpl.sendMessage(MQClientAPIImpl.java:449)
	at org.apache.rocketmq.client.impl.MQClientAPIImpl.sendMessage(MQClientAPIImpl.java:403)
	at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.sendKernelImpl(DefaultMQProducerImpl.java:831)
	at org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl.sendDefaultImpl(DefaultMQProducerImpl.java:557)
	... 4 more

訪問失敗的問題，修改 broker.conf：

brokerIP1=10.24.99.61

這個IP填什么？在宿主機命令行輸入 ipconfig，找到 以太網適配器 以太網 的 IPv4 地址，填入到 brokerIP1 中。

接着，你可以通過訪問控制台的 http://localhost:8080 集群，我們可以發現地址發生了變化：

接着，我們在控制台——消息中可以查到這條消息：

消息的詳細內容如下圖所示：

了解更多

RocketMQ之console監控平台使用詳解
RocketMQ 官方文檔 簡單示例