Docker搭建Redis Cluster集群及擴容和收容

上一篇文章講解了Redis集群原理及搭建，由於工作中使用docker較多，本文主要講解使用docker搭建集群及對集群的擴展收容。
環境：Centos7.6
Docker：20.10.12
Redis：6.2.6

1 集群配置

集群配置步驟

1、創建redis-cluster.tmpl配置Redis信息【端口、是否開啟集群等】
2、創建redis.sh配置需要創建的redis信息
3、添加網絡，redis集群使用該網絡
4、執行redis.sh實現創建redis
5、執行redis-cli創建集群

1.1 安裝docker

參考之前一篇文章《Docker安裝及配置》

1.2 腳本創建

創建目錄

mkdir -p /usr/local/server/redis-cluster
cd /usr/local/server/redis-cluster
vi redis-cluster.tmpl

創建 redis-cluster.tmpl 配置Redis信息(類似redis.conf)：

#端口
port ${PORT}
#非保護模式
protected-mode no
#啟用集群模式
cluster-enabled yes 
cluster-config-file nodes.conf 
#超時時間
cluster-node-timeout 5000 
#集群各節點IP地址
cluster-announce-ip 192.168.88.110 
#集群節點映射端口 
cluster-announce-port ${PORT} 
#集群總線端口 
cluster-announce-bus-port 1${PORT} 
#開啟aof持久化策略
appendonly yes
#后台運行
#daemonize yes
#進程號存儲
pidfile /var/run/redis_${PORT}.pid 
#集群加密
#masterauth 123456
#requirepass 123456

創建redis.sh配置需要創建的 Redis 集群：

#!/bin/bash 
#在/usr/local/server/redis-cluster下生成conf和data目標，並生成配置信息 
for port in `seq 7001 7006`;
do
  mkdir -p ./${port}/conf && PORT=${port} envsubst < ./redis-cluster.tmpl > ./${port}/conf/redis.conf && mkdir -p ./${port}/data; 
done
#創建6個redis容器
for port in `seq 7001 7006`;
do
    docker run -d -it -p ${port}:${port} -p 1${port}:1${port} -v /usr/local/server/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /usr/local/server/redis-cluster/${port}/data:/data --privileged=true --restart always --name redis-${port} --net redis-net --sysctl net.core.somaxconn=1024 redis redis-server /usr/local/etc/redis/redis.conf;
done
#查找ip
for port in `seq 7001 7006`; do
echo -n "$(docker inspect --format '{{ (index .NetworkSettings.Networks "redis- net").IPAddress }}' "redis-${port}")":${port}" ";
done
#換行
echo -e "\n"
#輸入信息
read -p "請把輸入要啟動的docker容器名稱，默認redis-7001:" DOCKER_NAME #判斷是否為空
if [ ! $DOCKER_NAME ];
    then DOCKER_NAME='redis-7001';
fi
#進入容器
docker exec -it redis-7001 /bin/bash

創建 stop.sh 腳本，用於停止Redis容器，並且移除對應容器:

#!/bin/bash
docker stop redis-7001 redis-7002 redis-7003 redis-7004 redis-7005 redis-7006
docker rm redis-7001 redis-7002 redis-7003 redis-7004 redis-7005 redis-7006
rm -rf 7001 7002 7003 7004 7005 7006

1.3 增加執行權限及配置docker網絡

# 配置docker網絡
docker network create redis-net
# 腳本授權:給 和 添加可執行權限:
chmod +x redis.sh
chmod +x stop.sh

查看docker給每個節點分配的IP信息

docker network inspect redis-net | grep -i -E "name|ipv4address"

1.4 集群關聯

執行腳本開始安裝Redis節點，並進入到 /usr/local/bin 目錄下執行 redis-cli 創建集群關聯:
執行啟動./redis.sh集群

關聯集群

# 進入到任意一個安裝好的redis節點的bin目錄，里面有個腳本對象redis-cli，
docker exec -it redis-7001 bash
cd /usr/local/bin/
# 執行集群創建
./redis-cli --cluster create 172.18.0.2:7001 172.18.0.3:7002 172.18.0.4:7003 172.18.0.5:7004 172.18.0.6:7005 172.18.0.7:7006 --cluster-replicas 1

1.5 驗證

redis-cli -p 7001 -c
cluster nodes

其他查看集群信息命令

# 查看 主節點信息
redis-cli -p 7001 cluster nodes|grep master
# 查看 從節點信息
redis-cli -p 7001 cluster nodes|grep slave
# 查看集群信息
redis-cli --cluster info ip:端口 
redis-cli --cluster check ip:端口 

2 集群擴容

上面我們搭建了集群情況如下

目前共有6個節點，3對主從，其中7001分配了5416個哈希槽，7002分配了5462個哈希槽，7003分配了5461個哈希槽。隨着業務增長，我們需要增加7007和7008 2台Redis，並添加到集群中。其中7007為主節點，7008為7007的從節點，並向主節點7001和7002獲取2000個哈希槽。擴容后集群信息如下圖：

2.1 腳本准備

基於Docker安裝Redis這里編寫了一個腳本，安裝腳本 redis-port.sh 如下:

#!/bin/bash 
#在/usr/local/server/redis-cluster下生成conf和data目標，並生成配置信息 
#換行
echo -e "\n"
#輸入信息
read -p "請輸入容器端口:" DOCKER_PORT
#輸入端口賦值 
port=$DOCKER_PORT;
echo -e "$port"

#創建配置文件
mkdir -p ./${port}/conf && PORT=${port} envsubst < ./redis-cluster.tmpl > ./${port}/conf/redis.conf && mkdir -p ./${port}/data;

#創建redis容器
docker run -d -it -p ${port}:${port} -p 1${port}:1${port} -v /usr/local/server/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /usr/local/server/redis-cluster/${port}/data:/data --privileged=true --restart always --name redis-${port} --net redis-net --sysctl net.core.somaxconn=1024 redis redis-server /usr/local/etc/redis/redis.conf;
#查找ip
echo -n "啟動$(docker inspect --format '{{ (index .NetworkSettings.Networks "redis- net").IPAddress }}' "redis-${port}")":${port}" 成功!";
echo -e "\n"

添加執行權限

chmod +x redis-port.sh 

執行 redis-port.sh 腳本，實現 7007,7008節點安裝。

2.2 添加集群主節點

我們需要給集群節點添加一個主節點，我們需要將 7007 節點添加到 7001 節點所在的集群中，並且添加后作為主節點，添加命令行如下:

# 將192.168.88.110:7007節點添加到192.168.88.110:7001節點所在的集群中
redis-cli --cluster add-node 192.168.88.110:7007 192.168.88.110:7001

此時我們可以進入到集群節點之一查看此時的集群狀態，我們進入到7002節點中輸入cluster node查詢，操作方法如下

# 進入容器
docker exec -it redis-7002 /bin/bash
# 進入到redis-cli腳本目錄 
cd /usr/local/bin
# 登錄7002節點 
./redis-cli -p 7002 -c
# 查詢集群狀態
cluster nodes

哈希槽分配
從上面的集群節點信息我們可以看出一個問題，7007 節點沒有分配哈希槽。因為之前3台Master已經瓜分了16384個哈希槽，所以再增加一個新節點是沒有剩余哈希槽分配的，所以新增的 7007 節點沒有分配到哈希槽。我們只能重新分配哈希槽，才能讓新增節點分配到一定的哈希槽，重新分配哈希槽后，還要考慮之前其他Redis節點中的數據遷移。

重新分配Hash槽
我們將 7001,7002 中的 2000 個哈希槽挪給 7007 ，命令如下:

# 將7001集群中節點
#    fbc63acf974997e37a35b5ca1c71cc002ae1bb40
#    fa92c840b4a77463fb27b2b8183f144321a73f86
# 中的2000個哈希槽移動到 41eb57d0685f71aabef57908aef54189b22573b9中
redis-cli --cluster reshard 192.168.88.110:7001 --cluster-from fbc63acf974997e37a35b5ca1c71cc002ae1bb40,fa92c840b4a77463fb27b2b8183f144321a73f86 --cluster-to 41eb57d0685f71aabef57908aef54189b22573b9 --cluster-slots 2000

參數說明:
--cluster-from：表示slot目前所在的節點的node ID，多個ID用逗號分隔
--cluster-to：表示需要新分配節點的node ID
--cluster-slots：分配的slot數量

將2000個哈希槽挪給7007后，我們查詢下節點信息:

redis-cli -p 7001 cluster nodes|grep master

2.3 添加集群從節點

我們需要往集群中給 7007 節點添加一個從節點 7008 ，添加從節點的主要目的是提高高可用，防止主節點宕機后該節點無法提供服務。添加從節點命令如下:

#  將192.168.88.110:7008節點添加到192.168.88.110:7007對應的集群中，並且加入的節點為從節點，
#  對應的主節點 id是41eb57d0685f71aabef57908aef54189b22573b9
redis-cli --cluster add-node 192.168.88.110:7008 192.168.88.110:7007 --cluster-slave --cluster-master-id 41eb57d0685f71aabef57908aef54189b22573b9

參數說明:
add-node: 后面的分別跟着新加入的slave和slave對應的master
cluster-slave:表示加入的是slave節點
--cluster-master-id:表示slave對應的master的node ID
執行命令后，效果如下:

2.4 驗證

集群信息查看:

數據查看
到此集群熱擴容已經完成，接下來對集群縮容操作。

3 集群縮容

在真實生產環境中，我們也會跟着我們的業務和環境執行縮容處理，比如雙十一過后，流量沒有那么大了，我們往往
會縮容處理，服務器開銷。
Redis實現縮容，需要哈希槽重新分配，將需要移除的節點所分配的所有哈希槽值分配給其他需要運行工作的節點， 還需要移除該節點的從節點，然后再刪除該節點。

3.1 移除從節點

移除 7007 的從節點 7008 ，命令如下:

# del-node:刪除節點，后面跟着slave節點的 ip:port 和node ID
redis-cli --cluster del-node 192.168.88.110:7008 7d6948bb8b6a5ff49f26aef2ebdb400bc3dc7062

3.2 遷移Master7007的Slot

我們需要將7007節點的哈希槽遷移到7001,7002,7003節點上，仍然用上面用過的redis-cli --cluster reshard ...
語法，遷移計划：500個slots給7001，700個slots給7002，剩余800個給7003 命令如下:

# 將192.168.88.110:7007節點所在集群中41eb57d0685f71aabef57908aef54189b22573b9 節點的500個哈希槽遷移給 # fbc63acf974997e37a35b5ca1c71cc002ae1bb40節點，不回顯需要遷移的slot，直接遷移。
# 第一次遷移500到7001
redis-cli --cluster reshard 192.168.88.110:7007 --cluster-from 41eb57d0685f71aabef57908aef54189b22573b9 --cluster-to fbc63acf974997e37a35b5ca1c71cc002ae1bb40 --cluster-slots 500 --cluster-yes

# 第二次遷移700到7002
redis-cli --cluster reshard 192.168.88.110:7007 --cluster-from 41eb57d0685f71aabef57908aef54189b22573b9 --cluster-to fa92c840b4a77463fb27b2b8183f144321a73f86 --cluster-slots 700 --cluster-yes

# 第三次遷移800到7003
redis-cli --cluster reshard 192.168.88.110:7007 --cluster-from 41eb57d0685f71aabef57908aef54189b22573b9 --cluster-to 05e9c301a25041ca780f369974764636513e8767 --cluster-slots 800 --cluster-yes

查看集群狀態

3.3 刪除7007主節點

刪除節點命令如下:

redis-cli --cluster del-node 192.168.88.110:7007 41eb57d0685f71aabef57908aef54189b22573b9

集群節點查看:

到此集群的縮容完成