Redis-Cluster集群

本文轉載自查看原文 2022-03-02 11:11 1775 k8s雜項記錄

redis最開始使用主從模式做集群，若master宕機需要手動切換slave為master；於是有了哨兵模式，該模式下有一個哨兵監視master和slave，若master宕機可自動將slave轉為master，但它也有一個問題，就是不能動態擴充；所以在3.x提出cluster集群模式，cluster模式下數據是分片存於每個節點的，若某一個節點掛掉，則數據整體無法訪問，所以我們在集群建立的時候，一定要為每個主節點都添加了從節點, 比如像這樣, 集群包含主節點A、B、C, 以及從節點A1、B1、C1, 那么即使B掛掉系統也可以繼續正確工作。

一、redis-cluster設計

Redis-Cluster采用無中心結構，每個節點保存數據和整個集群狀態,每個節點都和其他所有節點連接。

其結構特點：
1、所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬。
2、節點的fail是通過集群中超過半數的節點檢測失效時才生效。
3、客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可。
4、redis-cluster把所有的物理節點映射到[0-16383]slot上（不一定是平均分配）,cluster 負責維護node<->slot<->value。
5、Redis集群預分好16384個桶，當需要在 Redis 集群中放置一個 key-value 時，根據 CRC16(key) mod 16384的值，決定將一個key放到哪個桶中。

a.redis cluster節點分配
現在我們是三個主節點分別是：A, B, C 三個節點，它們可以是一台機器上的三個端口，也可以是三台不同的服務器。那么，采用哈希槽 (hash slot)的方式來分配16384個slot 的話，它們三個節點分別承擔的slot 區間是：

節點A覆蓋0－5460;
節點B覆蓋5461－10922;
節點C覆蓋10923－16383.

獲取數據:
如果存入一個值，按照redis cluster哈希槽的算法： CRC16('key')384 = 6782。那么就會把這個key 的存儲分配到 B 上了。同樣，當我連接(A,B,C)任何一個節點想獲取'key'這個key時，也會這樣的算法，然后內部跳轉到B節點上獲取數據

新增一個主節點:
新增一個節點D，redis cluster的這種做法是從各個節點的前面各拿取一部分slot到D上，我會在接下來的實踐中實驗。大致就會變成這樣：
節點A覆蓋1365-5460
節點B覆蓋6827-10922
節點C覆蓋12288-16383
節點D覆蓋0-1364,5461-6826,10923-12287

同樣刪除一個節點也是類似，移動完成后就可以刪除這個節點了。

b.Redis Cluster主從模式
redis cluster 為了保證數據的高可用性，加入了主從模式，一個主節點對應一個或多個從節點，主節點提供數據存取，從節點則是從主節點拉取數據備份，當這個主節點掛掉后，就會有這個從節點選取一個來充當主節點，從而保證集群不會掛掉

上面那個例子里, 集群有ABC三個主節點, 如果這3個節點都沒有加入從節點，如果B掛掉了，我們就無法訪問整個集群了。A和C的slot也無法訪問。

所以我們在集群建立的時候，一定要為每個主節點都添加了從節點, 比如像這樣, 集群包含主節點A、B、C, 以及從節點A1、B1、C1, 那么即使B掛掉系統也可以繼續正確工作。

B1節點替代了B節點，所以Redis集群將會選擇B1節點作為新的主節點，集群將會繼續正確地提供服務。當B重新開啟后，它就會變成B1的從節點。

不過需要注意，如果節點B和B1同時掛了，Redis集群就無法繼續正確地提供服務了。

二、redis集群的搭建

集群中至少應該有奇數個節點，所以至少有三個節點，每個節點至少有一個備份節點，所以下面使用6節點（主節點、備份節點由redis-cluster集群確定）
下載redis
1、安裝redis節點指定端口
解壓redis壓縮包，編譯安裝

[root@localhost redis-3.2.0]# tar xzf redis-3.2.0.tar.gz [root@localhost redis-3.2.0]# cd redis-3.2.0 [root@localhost redis-3.2.0]# make [root@localhost redis01]# make install PREFIX=/usr/andy/redis-cluster

在redis-cluster下修改bin文件夾為redis01,復制redis.conf配置文件
創建目錄redis-cluster並在此目錄下再創建7000 7001 7002 7003 7004 7005共6個目錄，在7000中創建配置文件redis.conf，內容如下：

daemonize yes
port 7000
cluster-enabled yes
cluster-config-file nodes.conf 
cluster-node-timeout 15000 
appendonly yes

# 解釋
        daemonize yes #后台啟動
        port 7001 #修改端口號，從7001到7006
        cluster-enabled yes #開啟cluster，去掉注釋
        cluster-config-file nodes.conf #自動生成
        cluster-node-timeout 15000 #節點通信時間
        appendonly yes #持久化方式

同時把redis.conf復制到其它目錄中

2、安裝redis-trib所需的 ruby腳本
注意：centos7默認的ruby版本太低(2.0)，要卸載重裝(最低2.2)

yum remove ruby yum install ruby yum install rubygems

復制redis解壓文件src下的redis-trib.rb文件到redis-cluster目錄並安裝gem

gem install redis-3.x.x.gem

若不想安裝src目錄下的gem，也可以直接gem install redis。

注意，gem install可能會報錯
Unable to require openssl,install OpenSSL and rebuild ruby (preferred) or use ....
解決步驟：

yum install openssl-devel -y
在ruby安裝包/root/ruby-x.x.x/ext/openssl，執行ruby ./extconf.rb
執行make,若出現make: *** No rule to make target /include/ruby.h', needed byossl.o'. Stop.;在Makefile頂部中的增加top_srcdir = ../..
執行make install

3、啟動所有的redis節點
可以寫一個命令腳本start-all.sh

cd 7000
redis-server redis.conf
cd ..
cd 7001
redis-server redis.conf
cd ..
cd 7002
redis-server redis.conf
cd ..
cd 7003
redis-server redis.conf
cd ..
cd 7004
redis-server redis.conf
cd ..
cd 7005
redis-server redis.conf
cd ..

設置權限啟動

[root@localhost redis-cluster]# chmod 777 start-all.sh [root@localhost redis-cluster]# ./start-all.sh

查看redis進程啟動狀態

[root@localhost redis-4.0.2]# ps -ef|grep cluster root 54956 1 0 19:17 ? 00:00:00 redis-server *:7000 [cluster] root 54961 1 0 19:17 ? 00:00:00 redis-server *:7001 [cluster] root 54966 1 0 19:17 ? 00:00:00 redis-server *:7002 [cluster] root 54971 1 0 19:17 ? 00:00:00 redis-server *:7003 [cluster] root 54976 1 0 19:17 ? 00:00:00 redis-server *:7004 [cluster] root 54981 1 0 19:17 ? 00:00:00 redis-server *:7005 [cluster] root 55071 24089 0 19:24 pts/0 00:00:00 grep --color=auto cluster

可以看到redis的6個節點已經啟動成功
注意：這里並沒有創建集群

4、使用redis-trib.rb創建集群
注意：redis-trib.rb在redis/src目錄下。

./redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7000

使用create命令 --replicas 1 參數表示為每個主節點創建一個從節點，其他參數是實例的地址集合。

[root@localhost redis]# ./src/redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7000 >>> Creating cluster >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 Adding replica 127.0.0.1:7004 to 127.0.0.1:7001 Adding replica 127.0.0.1:7005 to 127.0.0.1:7002 Adding replica 127.0.0.1:7000 to 127.0.0.1:7003 M: f4ee0a501f9aaf11351787a46ffb4659d45b7bd7 127.0.0.1:7001 slots:0-5460 (5461 slots) master M: 671a0524a616da8b2f50f3d11a74aaf563578e41 127.0.0.1:7002 slots:5461-10922 (5462 slots) master M: 18948dab5b07e3726afd1b6a42d5bf6e2f411ba1 127.0.0.1:7003 slots:10923-16383 (5461 slots) master S: 34e322ca50a2842e9f3664442cb11c897defba06 127.0.0.1:7004 replicates f4ee0a501f9aaf11351787a46ffb4659d45b7bd7 S: 62a00566233fbff4467c4031345b1db13cf12b46 127.0.0.1:7005 replicates 671a0524a616da8b2f50f3d11a74aaf563578e41 S: 2cb649ad3584370c960e2036fb01db834a546114 127.0.0.1:7000 replicates 18948dab5b07e3726afd1b6a42d5bf6e2f411ba1 Can I set the above configuration? (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join... >>> Performing Cluster Check (using node 127.0.0.1:7001) M: f4ee0a501f9aaf11351787a46ffb4659d45b7bd7 127.0.0.1:7001 slots:0-5460 (5461 slots) master 1 additional replica(s) M: 671a0524a616da8b2f50f3d11a74aaf563578e41 127.0.0.1:7002 slots:5461-10922 (5462 slots) master 1 additional replica(s) S: 2cb649ad3584370c960e2036fb01db834a546114 127.0.0.1:7000 slots: (0 slots) slave replicates 18948dab5b07e3726afd1b6a42d5bf6e2f411ba1 S: 34e322ca50a2842e9f3664442cb11c897defba06 127.0.0.1:7004 slots: (0 slots) slave replicates f4ee0a501f9aaf11351787a46ffb4659d45b7bd7 M: 18948dab5b07e3726afd1b6a42d5bf6e2f411ba1 127.0.0.1:7003 slots:10923-16383 (5461 slots) master 1 additional replica(s) S: 62a00566233fbff4467c4031345b1db13cf12b46 127.0.0.1:7005 slots: (0 slots) slave replicates 671a0524a616da8b2f50f3d11a74aaf563578e41 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered.

上面顯示創建成功，有3個主節點，3個從節點，每個節點都是成功連接狀態。

三、redis集群的測試

測試存取值，客戶端連接集群redis-cli需要帶上 -c ，redis-cli -c -p 端口號

[root@localhost redis]# ./redis-cli -c -p 7001 127.0.0.1:7001> set name andy -> Redirected to slot [5798] located at 127.0.0.1:7002 OK 127.0.0.1:7002> get name "andy" 127.0.0.1:7002>

根據redis-cluster的key值分配，name應該分配到節點7002[5461-10922]上，上面顯示redis cluster自動從7001跳轉到了7002節點。

測試一下7000從節點獲取name值

[root@localhost redis]# ./redis-cli -c -p 7000 127.0.0.1:7000> get name -> Redirected to slot [5798] located at 127.0.0.1:7002 "andy" 127.0.0.1:7002>

四、集群節點選舉

現在模擬將7002節點掛掉，按照redis-cluster原理會選舉會將 7002的從節點7005選舉為主節點。

[root@localhost redis-cluster]# ps -ef | grep redis root 7966 1 0 12:50 ? 00:00:29 ./redis-server 127.0.0.1:7000 [cluster] root 7950 1 0 12:50 ? 00:00:28 ./redis-server 127.0.0.1:7001 [cluster] root 7952 1 0 12:50 ? 00:00:29 ./redis-server 127.0.0.1:7002 [cluster] root 7956 1 0 12:50 ? 00:00:29 ./redis-server 127.0.0.1:7003 [cluster] root 7960 1 0 12:50 ? 00:00:29 ./redis-server 127.0.0.1:7004 [cluster] root 7964 1 0 12:50 ? 00:00:29 ./redis-server 127.0.0.1:7005 [cluster] root 11346 10581 0 14:57 pts/2 00:00:00 grep --color=auto redis [root@localhost redis-cluster]# kill 7952

在查看集群中的7002節點

[root@localhost src]# ./redis-trib.rb check 127.0.0.1:7002
[ERR] Sorry, can't connect to node 127.0.0.1:7002

[root@localhost src]# ./redis-trib.rb check 127.0.0.1:7005 # 會發現其變成M，即主

可以看到集群連接不了7002節點，而7005有原來的S轉換為M節點，代替了原來的7002節點。我們可以獲取name值：

[root@localhost redis]# ./redis-cli -c -p 7001 127.0.0.1:7001> get name -> Redirected to slot [5798] located at 127.0.0.1:7005 "andy" 127.0.0.1:7005> 127.0.0.1:7005>

從7001節點連入，自動跳轉到7005節點，並且獲取name值。

現在我們將7002節點恢復，看是否會自動加入集群中以及充當的M還是S節點。

[root@localhost redis-cluster]# cd 7002 # 必須切換到指定目錄下啟動 [root@localhost 7002]# ./redis-server redis.conf [root@localhost 7002]#

再check一下7002節點，可以看到7002節點變成了7005的從節點。

五、給redis cluster集群加上認證功能

在部署好redis cluser后，我們登錄到任意節點執行下面的操作

Redis集群出於安全性考慮，需要設置密碼

redis集群密碼設置
1、密碼設置(推薦)
方式一：修改所有Redis集群中的redis.conf文件加入：
masterauth passwd123 
requirepass passwd123 
說明：這種方式需要重新啟動各節點

方式二：進入各個實例進行設置：
./redis-cli -c -p 7000 
config set masterauth passwd123 
config set requirepass passwd123 
config rewrite 
之后分別使用./redis-cli -c -p 7001，./redis-cli -c -p 7002…..命令給各節點設置上密碼。

注意：各個節點密碼都必須一致，否則Redirected就會失敗， 推薦這種方式，這種方式會把密碼寫入到redis.conf里面去，且不用重啟。

用方式二修改密碼，./redis-trib.rb check 10.104.111.174:6379執行時可能會報[ERR] Sorry, can't connect to node 10.104.111.174:6379，因為6379的redis.conf沒找到密碼配置。

2、設置密碼之后如果需要使用redis-trib.rb的各種命令
如：./redis-trib.rb check 127.0.0.1:7000，則會報錯ERR] Sorry, can’t connect to node 127.0.0.1:7000
解決辦法：先找到文件路徑find / -name client.rb 然后vim /usr/local/rvm/gems/ruby-2.3.3/gems/redis-4.0.0/lib/redis/client.rb，然后修改passord ==> "密碼一定要被引號包含"

復制代碼
class Client
    DEFAULTS = {
      :url => lambda { ENV["REDIS_URL"] },
      :scheme => "redis",
      :host => "127.0.0.1",
      :port => 6379,
      :path => nil,
      :timeout => 5.0,
      :password => "passwd123",
      :db => 0,
      :driver => nil,
      :id => nil,
      :tcp_keepalive => 0,
      :reconnect_attempts => 1,
      :inherit_socket => false
    }
復制代碼
注意：client.rb路徑可以通過find命令查找：find / -name 'client.rb'

帶密碼訪問集群
./redis-cli -c -p 7000 -a passwd123

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 Redis-cluster集群 Redis-cluster集群搭建在windows上搭建redis集群(redis-cluster) 在windows上搭建redis集群(redis-cluster) Docker實戰之Redis-Cluster集群 docker之構建redis-cluster集群 docker部署redis-cluster集群 Docker實戰之Redis-Cluster集群 docker 搭建 redis 集群（Redis-Cluster集群） Redis集群Redis-cluster搭建及故障、性能測試