前言
redis集群化部署主要用於大型緩存架構，一般的小型架構，使用redis主從配置 + sentinel哨兵集群應付系統壓力，
使用redis集群可以方便快捷地對集群進行動態擴容，動態的添加、刪除節點，reshard、並帶有自動故障恢復功能。
一般redis集群使用三主三從，並且盡量保證主服務器與從服務器不在同一台機器上，防止機器故障導致的集群癱瘓，每個主服務器搭配一個從服務器，保證集群的高可用性。
一、集群規划
三台服務器各部署一個主節點、一個從節點，同一台服務器上不是直接主從關系。
| 服務器 |
角色 |
ip:端口 |
| node1 |
master1/slave2 | 192.168.146.199:7000/192.168.146.199:7001 |
| node2 |
master2/slave3 |
192.168.146.200:7000/192.168.146.200:7001 |
| node3 |
master3/slave1 |
192.168.146.201:7000/192.168.146.201:7001 |
軟件版本：
OS：CentOS7.5
Redis：redis-6.0.9
二、服務器設置
設置主機名：
# hostnamectl --static set-hostname node1/node2/node3
配置映射：
# vi /etc/hosts 192.168.146.199 node1 192.168.146.200 node2 192.168.146.201 node3
時區調整，時間校准：
# date -R # timedatectl set-timezone Asia/Shanghai # yum -y install ntp # ntpdate ntp1.aliyun.com
關閉selinux：
# vi /etc/sysconfig/selinux SELINUX=disabled
重啟服務器並驗證：
# getenforce
Disabled
關閉防火牆：
# service iptables stop
# chkconfig iptables off
內核設置：
1、 先執行：chmod +x /etc/rc.d/rc.local
2、 將 vm.overcommit_memory = 1 添加到/etc/sysctl.conf中，然后重啟服務器或運行命令sysctl vm.overcommit_memory = 1使其立即生效。
3、 確保禁用Linux內核功能透明的大頁面，它將以負面的方式極大地影響內存使用和延遲。這可以通過以下命令完成： 先直接執行（臨時生效）： echo never> /sys/kernel/mm/transparent_hugepage/enabled 再執行以下命令（永久生效）： vim /etc/rc.local 追加：echo never>/sys/kernel/mm/transparent_hugepage/enabled
4、 解決問題：【TCP backlog設置值，511沒有成功，因為 /proc/sys/net/core/somaxconn這個設置的是更小的128】 先直接執行（臨時生效）： echo 511 > /proc/sys/net/core/somaxconn 再執行以下命令（永久生效）： vim /etc/rc.local 追加：echo 511 > /proc/sys/net/core/somaxconn
5、 重啟服務器。
/etc/rc.local參考圖：
三、Redis安裝
分別在三台服務器進行如下操作。
1、gcc版本問題避免
Redis是c語言開發的。安裝redis需要c語言的編譯環境。
安裝redis6最主要的一點是要用GCC5以上，而CentOS6.9的GCC版本為4.8.x, 所以安裝之前必須升級GCC（使用命令gcc --version查看版本）。
# yum -y install gcc tcl # yum -y install centos-release-scl # yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils
查看gcc版本：
# gcc -v scl只是臨時啟用，退出shell后會恢復原系統gcc版本： # scl enable devtoolset-9 bash 如下命令表示永久啟用： # echo "source /opt/rh/devtoolset-9/enable" >> /etc/profile 查看gcc版本： # gcc -v
2、下載安裝
cd /opt wget http://download.redis.io/releases/redis-6.0.9.tar.gz tar -xvf redis-6.0.9.tar.gz cd redis-6.0.9 make MALLOC=libc make install PREFIX=/usr/local/redis
查看/usr/local/redis/bin，如看見redis具工表示redis已安裝成功：
3、Redis配置
建立安裝Redis時會用到的文件夾：
mkdir -p /usr/local/redis/run mkdir -p /usr/local/redis/log mkdir -p /usr/local/redis/data/7000 mkdir -p /usr/local/redis/conf
設置redis配置文件：
cp /opt/redis-6.0.9/redis.conf /usr/local/redis/conf/redis_7000.conf vi /usr/local/redis/conf/redis_7000.conf
打開redis_7000.conf文件，修改以下內容：
bind 192.168.146.199 #添加本機的ip port 7000 #端口 pidfile /usr/local/redis/run/redis_7000.pid #pid存儲目錄 logfile /usr/local/redis/log/redis_7000.log #日志存儲目錄 dir /usr/local/redis/data/7000 #數據存儲目錄，目錄要提前創建好 cluster-enabled yes #開啟集群 cluster-config-file nodes-7000.conf #集群節點配置文件，這個文件是不能手動編輯的。確保每一個集群節點的配置文件不通 cluster-node-timeout 15000 #集群節點的超時時間，單位：ms，超時后集群會認為該節點失敗 appendonly yes #持久化 daemonize yes #守護進程
4、建立不同端口實例
由於我們的機器有限，我們將采用一台機器多個端口的方式搭建我們的Redis集群。
復制配置文件：
# cp /usr/local/redis/conf/redis_7000.conf /usr/local/redis/conf/redis_7001.conf
# mkdir -p /usr/local/redis/data/7001
# vi /usr/local/redis/conf/redis_7001.conf
打開redis_7001.conf文件，修改以下內容：
bind 192.168.146.199 port 7001 pidfile /usr/local/redis/run/redis_7001.pid logfile /usr/local/redis/log/redis_7001.log dir /usr/local/redis/data/7001 #目錄要提前創建好 cluster-config-file nodes-7001.conf
如果要復制多個端口，按上面的步驟重復操作，修改端口號即可。
5、制作啟動配置文件
# cd /usr/local/redis/bin
啟動腳本：
# vi cluster_start.sh ./redis-server ../conf/redis_7000.conf ./redis-server ../conf/redis_7001.conf # chmod +x cluster_start.sh
關閉腳本：
# vi cluster_shutdown.sh pgrep redis-server | xargs -exec kill -9 # chmod +x cluster_shutdown.sh
6、啟動&關閉Redis：
啟動redis：
# ./cluster_start.sh # ps -ef|grep redis root 26731 1 0 01:23 ? 00:00:00 redis-server 192.168.146.199:7000 [cluster] root 26736 1 0 01:23 ? 00:00:00 redis-server 192.168.146.199:7001 [cluster] root 26741 8648 0 01:23 pts/0 00:00:00 grep --color=auto redis
關閉redis：
# ./cluster_shutdown.sh
四、Redis集群
建立集群前需先啟動各個節點的redis服務，並在其中一個redis服務器中執行以下指令建立集群。
1、創建集群
在redis3.0和4.0版本中，創建集群還是使用redis-trib.rb方式去創建，但是在5.0之后，可以直接使用redis-cli直接創建集群，本文redis版本為6.0，所以創建集群的方式為redis-cli方式直接創建。
用以下命令創建集群，--cluster-replicas 1 參數表示希望每個主服務器都有一個從服務器，這里則代表3主3從，前3個代表3個master，后3個代表3個slave。
通過該方式創建的帶有從節點的機器不能夠自己手動指定主節點，redis集群會盡量把主從服務器分配在不同機器上。
# redis-cli --cluster create 192.168.146.199:7000 192.168.146.200:7000 192.168.146.201:7000 192.168.146.199:7001 192.168.146.200:7001 192.168.146.201:7001 --cluster-replicas 1 >>> Performing hash slots allocation on 6 nodes... Master[0] -> Slots 0 - 5460 Master[1] -> Slots 5461 - 10922 Master[2] -> Slots 10923 - 16383 Adding replica 192.168.146.200:6380 to 192.168.146.199:7000 Adding replica 192.168.146.201:6380 to 192.168.146.200:7000 Adding replica 192.168.146.199:6380 to 192.168.146.201:7000 M: 7a0af6d896222c60b582c8ecb16d1369a5ef33b4 192.168.146.199:7000 slots:[0-5460] (5461 slots) master M: 825e26272e82f4900f2b99bb05cc8efa87f2c238 192.168.146.200:7000 slots:[5461-10922] (5462 slots) master M: e52b4a755ab35381931ba89cf0399ac2657c0d93 192.168.146.201:7000 slots:[10923-16383] (5461 slots) master S: caed0e5b336cb31d6d6b29874170075a21e6923b 192.168.146.199:7001 replicates e52b4a755ab35381931ba89cf0399ac2657c0d93 S: c155299d628e705565915cec624faf67946556a5 192.168.146.200:7001 replicates 7a0af6d896222c60b582c8ecb16d1369a5ef33b4 S: d9bca2b5cabb426aa2e296e6696e60e35ef4bebe 192.168.146.201:7001 replicates 825e26272e82f4900f2b99bb05cc8efa87f2c238 Can I set the above configuration? (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join . >>> Performing Cluster Check (using node 192.168.146.199:7000) M: 7a0af6d896222c60b582c8ecb16d1369a5ef33b4 192.168.146.199:7000 slots:[0-5460] (5461 slots) master 1 additional replica(s) S: c155299d628e705565915cec624faf67946556a5 192.168.146.200:7000 slots: (0 slots) slave replicates 7a0af6d896222c60b582c8ecb16d1369a5ef33b4 M: 825e26272e82f4900f2b99bb05cc8efa87f2c238 192.168.146.200:7000 slots:[5461-10922] (5462 slots) master 1 additional replica(s) S: d9bca2b5cabb426aa2e296e6696e60e35ef4bebe 192.168.146.201:7000 slots: (0 slots) slave replicates 825e26272e82f4900f2b99bb05cc8efa87f2c238 M: e52b4a755ab35381931ba89cf0399ac2657c0d93 192.168.146.201:7000 slots:[10923-16383] (5461 slots) master 1 additional replica(s) S: caed0e5b336cb31d6d6b29874170075a21e6923b 192.168.146.199:7001 slots: (0 slots) slave replicates e52b4a755ab35381931ba89cf0399ac2657c0d93 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered. 備注：注意看M和S，對照下集群角色表
2、查看集群狀態
# redis-cli -c -h 192.168.146.199 -p 7000 cluster info cluster_state:ok cluster_slots_assigned:16384 cluster_slots_ok:16384 cluster_slots_pfail:0 cluster_slots_fail:0 cluster_known_nodes:6 cluster_size:3 cluster_current_epoch:6 cluster_my_epoch:1 cluster_stats_messages_ping_sent:482 cluster_stats_messages_pong_sent:488 cluster_stats_messages_sent:970 cluster_stats_messages_ping_received:483 cluster_stats_messages_pong_received:482 cluster_stats_messages_meet_received:5 cluster_stats_messages_received:970
3、查看集群節點
# redis-cli -c -h 192.168.146.199 -p 7000 cluster nodes 7a0af6d896222c60b582c8ecb16d1369a5ef33b4 192.168.146.199:7000@17000 myself,master - 0 1600191841000 1 connected 0-5460 c155299d628e705565915cec624faf67946556a5 192.168.146.200:7001@17001 slave 7a0af6d896222c60b582c8ecb16d1369a5ef33b4 0 1600191840159 1 connected 825e26272e82f4900f2b99bb05cc8efa87f2c238 192.168.146.200:7000@17000 master - 0 1600191842184 2 connected 5461-10922 d9bca2b5cabb426aa2e296e6696e60e35ef4bebe 192.168.146.201:7001@17001 slave 825e26272e82f4900f2b99bb05cc8efa87f2c238 0 1600191843194 2 connected e52b4a755ab35381931ba89cf0399ac2657c0d93 192.168.146.201:7000@17000 master - 0 1600191842000 3 connected 10923-16383 caed0e5b336cb31d6d6b29874170075a21e6923b 192.168.146.199:7001@17001 slave e52b4a755ab35381931ba89cf0399ac2657c0d93 0 1600191844207 3 connected
五、測試用例
[root@node1 redis-6.0.9]# redis-cli -c -h 192.168.146.199 -p 7000 192.168.146.199:7000> set name node1 -> Redirected to slot [5798] located at 192.168.146.200:7000 OK [root@node2 redis-6.0.9]# redis-cli -c -h 192.168.146.200 -p 7000 192.168.146.200:7000> get name "node1" root@node3 redis-6.0.9]# redis-cli -c -h 192.168.146.201 -p 7000 192.168.146.201:7000> get name -> Redirected to slot [5798] located at 192.168.146.200:7000 "node1" 192.168.146.201:7000> del name -> Redirected to slot [5798] located at 192.168.146.200:7000 (integer) 1 192.168.146.201:7000> get name -> Redirected to slot [5798] located at 192.168.146.200:7000 (nil)
六、目錄結構
注：剛開始每台服務器只有2個節點，后面又追加了4個節點。