Redis Cluster(集群)

一、概述

在前面的文章中介紹過了redis的主從和哨兵兩種集群方案，redis從3.0版本開始引入了redis-cluster(集群)。從主從-哨兵-集群可以看到redis的不斷完善；主從復制是最簡單的節點同步方案無法主從自動故障轉移。哨兵可以同時管理多個主從同步方案同時也可以處理主從自動故障轉移，通過配置多個哨兵節點可以解決單點網絡故障問題，但是單個節點的性能壓力問題無法解決。集群解決了前面兩個方案的所有問題。

 

Redis-Cluster架構圖：

1.Redis-Cluster采用無中心結構，每個節點都和其它節點通過互ping保持連接，每個節點保存整個集群的狀態信息，可以通過連接任意節點讀取或者寫入數據(甚至是沒有數據的空節點)。

2.只有當集群中的大多數節點同時fail整個集群才fail。

3.整個集群有16384個slot，當需要在 Redis 集群中放置一個 key-value 時，根據 CRC16(key) mod 16384的值，決定將一個key放到哪個桶中。讀取一個key時也是相同的算法。

4.當主節點fail時從節點會升級為主節點，fail的主節點online之后自動變成了從節點。

 

二、集群安裝

1.插件ruby

yum remove ruby

wget https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.1.tar.gz
yum -y install gcc gcc-c++ autoconf automake make zlib-devel
tar xvf ruby-2.5.1.tar.gz
cd ruby-2.5.1/
./configure -prefix=/usr/local/ruby
make
make install

vim /etc/profile
export PATH=/usr/local/ruby/bin:$PATH
source /etc/profile

2.安裝gem

wget http://rubygems.org/downloads/redis-3.2.2.gem
gem install redis-3.2.2.gem 
gem list

注意：不要使用gem install redis來默認安裝，默認安裝可能會安裝redis-4.0.0版本。之前因為安裝默認的版本過高導致reshard的時候一直失敗。可以參考：http://www.cnblogs.com/chenmh/p/9221672.html

安裝redis-stat

gem install redis-stat

2.防火牆

除了端口本身，還有+10000的內部通訊端口需要加入到防火牆

7001，17001，7002，17002，7003，17003

3.安裝redis

tar -xvf redis-3.0.7.tar.gz
cd redis-3.0.7
make MALLOC=libc
cp src/redis-server redis-cli redis-trib.rb redis-benchmark redis-check-aof redis-check-rdb redis-sentinel /usr/local/bin

創建redis目錄

mkdir -p /redis/redis-cluster/
cd /redis/redis-cluster/
mkdir -p 7001/data 7001/log 7001/tmp
cp -rp 7002
cp -rp 7003 
cp -rp 8001

創建配置文件

cd 7001
vim redis.conf

port 7001
daemonize yes
timeout 300
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes 
lua-time-limit 5000
bind 192.168.191.11 127.0.0.1

######################################limit#######################
maxclients 10000
maxmemory 512mb
maxmemory-policy volatile-ttl
maxmemory-samples 5

#######################################file#######################
pidfile "/redis/redis-cluster/7001/tmp/redis_7001.pid"
loglevel notice
logfile "/redis/redis-cluster/7001/log/redis_7001.log"
dbfilename "dump.rdb"
dir "/redis/redis-cluster/7001/data" 

appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
######################################replication###########################
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
requirepass "123456"
masterauth "123456"

######################################slowlog################################
slowlog-log-slower-than 1000
slowlog-max-len 128
latency-monitor-threshold 0
 
####################################cluster####################################
cluster-enabled yes
cluster-config-file "/redis/redis-cluster/7001/nodes.conf"
cluster-node-timeout 5000

將redis.conf配置文件拷貝到其它的幾個節點並修改對應的端口、路徑等相關信息。slowlog單位是微妙

注意：注意bind后面ip的先后順序，如果配置127.0.0.1在前面的話，那么集群默認會啟用127.0.0.1會造成遠程無法訪問。

4.啟動redis集群 

啟動所有的redis集群

./redis-server redis.conf 

可以寫在bash腳本文件中啟動

三、集群管理

1.創建集群

redis-trib.rb create 192.168.191.11:7001 192.168.191.11:7002 192.168.191.11:7003

如果加上參數--replicas 1表示為每一個主節點創建一個從節點

備注：其實也不建議使用-replicas 1來自動創建主從關系，因為這種創建方法沒辦法指定哪個從節點對應哪個主節點，無法控制交叉主從。可以先創建好主節點，然后再通過創建從節點指定主節點。

2.集群配置密碼處理

默認如果redis cluster節點配置了密碼驗證，redis-trib.rb操作會失敗，則需要在需要執行redis-trib.rb操作的節點修改client.rb文件，操作如下： 

find / -name 'client.rb'

vim /usr/lib/ruby/gems/1.8/gems/redis-3.2.1/lib/redis/client.rb

注意：由於每個人安裝的版本不一樣所以路徑也可能有所差別，在passwd參數后面設置驗證的密碼，注意所有節點的密碼必須是相同的。

3.檢查集群

redis-trib.rb check 192.168.191.11:7001

 4.增加節點

1.增加主節點

redis-trib.rb add-node 192.168.191.11:7004 192.168.191.11:7001

注意：最后后面的ip和端口是目前集群中已經存在的節點，前面的ip和端口是要增加的。

2.增加從節點

----增加從節點
redis-trib.rb add-node --slave 192.168.191.11:8001 192.168.191.11:7001 
----增加從節點並指定主節點
redis-trib.rb add-node --slave --master-id 64ee652b75a78fc08253fddab5a920988a870f68 192.168.191.11:8001 192.168.191.11:7001 

注意：最后面的ip和端口是現集群中已經存在的節點

5.移動slot

redis-trib.rb reshard 192.168.191.11:7001

iphe端口隨便指定集群中的某一個，然后輸入要移動的slot個數和源節點目標節點id,最后輸入done即可。

6.移動節點

可以指定當前節點的master,或者改變當前節點所屬的master,登入到當前節點執行如下命令：

cluster replicate 5d8ef5a7fbd72ac586bef04fa6de8a88c0671052  ###新master的nodeid

7.刪除節點

注意： 刪除主節點之前需要先將主節點上的所有slot移動到別的主節點，並且保證沒有從節點，否則需要先將從節點移走或者刪除

刪除節點時需要指定節點的id

redis-trib.rb del-node 192.168.191.11:7001 af0f17b501b9f9f5e71ff6be1cf8114c9e11a80b 

后面的id即為需要刪除的節點id,刪除節點和增加節點語法節點的循序正好相反

四、集群相關命令

CLUSTER INFO 打印集群的信息
CLUSTER NODES 列出集群當前已知的所有節點（node），以及這些節點的相關信息。 
CLUSTER MEET <ip> <port> 將 ip 和 port 所指定的節點添加到集群當中，讓它成為集群的一份子。
CLUSTER FORGET <node_id> 從集群中移除 node_id 指定的節點。
CLUSTER REPLICATE <node_id> 將當前節點設置為 node_id 指定的節點的從節點。
CLUSTER SAVECONFIG 將節點的配置文件保存到硬盤里面。
CLUSTER ADDSLOTS <slot> [slot ...] 將一個或多個槽（slot）指派（assign）給當前節點。
CLUSTER DELSLOTS <slot> [slot ...] 移除一個或多個槽對當前節點的指派。
CLUSTER FLUSHSLOTS 移除指派給當前節點的所有槽，讓當前節點變成一個沒有指派任何槽的節點。
CLUSTER SETSLOT <slot> NODE <node_id> 將槽 slot 指派給 node_id 指定的節點。
CLUSTER SETSLOT <slot> MIGRATING <node_id> 將本節點的槽 slot 遷移到 node_id 指定的節點中。
CLUSTER SETSLOT <slot> IMPORTING <node_id> 從 node_id 指定的節點中導入槽 slot 到本節點。
CLUSTER SETSLOT <slot> STABLE 取消對槽 slot 的導入（import）或者遷移（migrate）。 
CLUSTER KEYSLOT <key> 計算鍵 key 應該被放置在哪個槽上。
CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的鍵值對數量。
CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 個 slot 槽中的鍵。 
CLUSTER SLAVES node-id 返回一個master節點的slaves 列表

 

 

錯誤處理：

如果操作系統是7.0以上版本，可能會因為yum方式安裝的ruby的版本太低，報“redis requires Ruby version >= 2.2.2”錯誤，這時可以這樣處理：

gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB

\curl -sSL https://get.rvm.io | bash -s stable

source  /etc/profile.d/rvm.sh

查看可以安裝的版本：

rvm list known

安裝其中的一個版本，大於2.2.2的版本即可

rvm install 2.4.1

查看已安裝的gem,ruby版本

ruby -v 
gem -v

執行gem安裝

gem install redis

 

 

 

備注：

    作者：pursuer.chen

    博客：http://www.cnblogs.com/chenmh

本站點所有隨筆都是原創，歡迎大家轉載；但轉載時必須注明文章來源，且在文章開頭明顯處給明鏈接，否則保留追究責任的權利。

《歡迎交流討論》