Redis 3.2.1集群搭建


一、概述

    Redis3.0版本之后支持Cluster.

1.1、redis cluster的現狀

   目前redis支持的cluster特性:

  1):節點自動發現

  2):slave->master 選舉,集群容錯

  3):Hot resharding:在線分片

  4):進群管理:cluster xxx

  5):基於配置(nodes-port.conf)的集群管理

  6):ASK 轉向/MOVED 轉向機制.

1.2、redis cluster 架構

  1)redis-cluster架構圖

  架構細節:

  (1)所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬.

  (2)節點的fail是通過集群中超過半數的節點檢測失效時才生效.

  (3)客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集群所有節點,連接集群中任何一個可用節點即可

  (4)redis-cluster把所有的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->value

 

   2) redis-cluster選舉:容錯

  (1)領着選舉過程是集群中所有master參與,如果半數以上master節點與master節點通信超過(cluster-node-timeout),認為當前master節點掛掉.

  (2):什么時候整個集群不可用(cluster_state:fail),當集群不可用時,所有對集群的操作做都不可用,收到((error) CLUSTERDOWN The cluster is down)錯誤

      a:如果集群任意master掛掉,且當前master沒有slave.集群進入fail狀態,也可以理解成進群的slot映射[0-16383]不完成時進入fail狀態.

      b:如果進群超過半數以上master掛掉,無論是否有slave集群進入fail狀態.

 

二、redis cluster安裝

    1、下載和解包

  cd /usr/local/
  wget http://download.redis.io/releases/redis-3.2.1.tar.gz
  tar -zxvf /redis-3.2.1.tar.gz

 2、 編譯安裝

 cd redis-3.2.1
 make && make install

  3、創建redis節點

     測試我們選擇2台服務器,分別為:192.168.1.237,192.168.1.238.每分服務器有3個節點。

  我先在192.168.1.237創建3個節點:

  cd /usr/local/
  mkdir redis_cluster  //創建集群目錄
  mkdir 7000 7001 7002  //分別代表三個節點    其對應端口 7000 7001 7002
 //創建7000節點為例,拷貝到7000目錄
 cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7000/   
 //拷貝到7001目錄
 cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7001/   
 //拷貝到7002目錄
 cp /usr/local/redis-3.2.1/redis.conf  ./redis_cluster/7002/   

   分別對7001,7002、7003文件夾中的3個文件修改對應的配置

daemonize    yes                          //redis后台運行
pidfile  /var/run/redis_7000.pid          //pidfile文件對應7000,7002,7003
port  7000                                //端口7000,7002,7003
cluster-enabled  yes                      //開啟集群  把注釋#去掉
cluster-config-file  nodes_7000.conf      //集群的配置  配置文件首次啟動自動生成 7000,7001,7002
cluster-node-timeout  5000                //請求超時  設置5秒夠了
appendonly  yes                           //aof日志開啟  有需要就開啟,它會每次寫操作都記錄一條日志

   在192.168.1.238創建3個節點:對應的端口改為7003,7004,7005.配置對應的改一下就可以了。

   4、兩台機啟動各節點(兩台服務器方式一樣)

cd /usr/local
redis-server  redis_cluster/7000/redis.conf
redis-server  redis_cluster/7001/redis.conf
redis-server  redis_cluster/7002/redis.conf
redis-server  redis_cluster/7003/redis.conf
redis-server  redis_cluster/7004/redis.conf
redis-server  redis_cluster/7005/redis.conf

   5、查看服務

      ps -ef | grep redis   #查看是否啟動成功

     netstat -tnlp | grep redis #可以看到redis監聽端口

三、創建集群

  前面已經准備好了搭建集群的redis節點,接下來我們要把這些節點都串連起來搭建集群。官方提供了一個工具:redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看后綴就知道這鳥東西不能直接執行,它是用ruby寫的一個程序,所以我們還得安裝ruby.

yum -y install ruby ruby-devel rubygems rpm-build 

  再用 gem 這個命令來安裝 redis接口    gem是ruby的一個工具包.

gem install redis    //等一會兒就好了
當然,方便操作,兩台Server都要安裝。

  上面的步驟完事了,接下來運行一下redis-trib.rb

 /usr/local/redis-3.2.1/src/redis-trib.rb

   Usage: redis-trib <command> <options> <arguments ...>

   reshard        host:port
                  --to <arg>
                  --yes
                  --slots <arg>
                  --from <arg>
  check          host:port
  call            host:port command arg arg .. arg
  set-timeout    host:port milliseconds
  add-node        new_host:new_port existing_host:existing_port
                  --master-id <arg>
                  --slave
  del-node        host:port node_id
  fix            host:port
  import          host:port
                  --from <arg>
  help            (show this help)
  create          host1:port1 ... hostN:portN
                  --replicas <arg>

For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.

     看到這,應該明白了吧, 就是靠上面這些操作 完成redis集群搭建的.

 確認所有的節點都啟動,接下來使用參數create 創建 (在192.168.1.237中來創建)

 /usr/local/redis-3.2.1/src/redis-trib.rb  create  --replicas  1  192.168.1.237:7000 192.168.1.237:7001  192.168.1.237:7003 192.168.1.238:7003  192.168.1.238:7004  192.168.1.238:7005

    解釋下, --replicas  1  表示 自動為每一個master節點分配一個slave節點    上面有6個節點,程序會按照一定規則生成 3個master(主)3個slave(從)

    前面已經提醒過的 防火牆一定要開放監聽的端口,否則會創建失敗。

 運行中,提示Can I set the above configuration? (type 'yes' to accept): yes    //輸入yes

 接下來 提示  Waiting for the cluster to join..........  安裝的時候在這里就一直等等等,沒反應,傻傻等半天,看這句提示上面一句,Sending Cluster Meet Message to join the Cluster.

    這下明白了,我剛開始在一台Server上去配,也是不需要等的,這里還需要跑到Server2上做一些這樣的操作。

    在192.168.1.238, redis-cli -c -p 700*  分別進入redis各節點的客戶端命令窗口, 依次輸入 cluster meet 192.168.1.238 7000……

    回到Server1,已經創建完畢了。

    查看一下 /usr/local/redis/src/redis-trib.rb check 192.168.1.237:7000

    到這里集群已經初步搭建好了。

 

四、測試

1)get 和 set數據

    redis-cli -c -p 7000

    進入命令窗口,直接 set  hello  howareyou

    直接根據hash匹配切換到相應的slot的節點上。

    還是要說明一下,redis集群有16383個slot組成,通過分片分布到多個節點上,讀寫都發生在master節點。

  2)假設測試

    果斷先把192.168.1.238服務Down掉,(192.168.1.238有1個Master, 2個Slave) ,  跑回192.168.1.238, 查看一下 發生了什么事,192.168.1.237的3個節點全部都是Master,其他幾個Server2的不見了

    測試一下,依然沒有問題,集群依然能繼續工作。

    原因:  redis集群  通過選舉方式進行容錯,保證一台Server掛了還能跑,這個選舉是全部集群超過半數以上的Master發現其他Master掛了后,會將其他對應的Slave節點升級成Master.

    疑問: 要是掛的是192.168.1.237怎么辦?    哥試了,cluster is down!!    沒辦法,超過半數掛了那救不了了,整個集群就無法工作了。 要是有三台Server,每台兩Master,切記對應的主從節點

            不要放在一台Server,別問我為什么自己用腦子想想看,互相交叉配置主從,掛哪台也沒事,你要說同時兩台crash了,呵呵噠......

  3)關於一致性

    我還沒有這么大膽拿redis來做數據庫持久化哥網站數據,只是拿來做cache,官網說的很清楚,Redis Cluster is not able to guarantee strong consistency. 

 

 五、安裝遇到的問題

     1、

  CC adlist.o
  /bin/sh: cc: command not found
  make[1]: *** [adlist.o] Error 127
  make[1]: Leaving directory `/usr/local/redis-3.2.1/src
  make: *** [all] Error 2

     解決辦法:GCC沒有安裝或版本不對,安裝一下

yum  install  gcc

   2、

  zmalloc.h:50:31:
  error: jemalloc/jemalloc.h: No such file or directory
  zmalloc.h:55:2: error:

  #error "Newer version of jemalloc required"
  make[1]: *** [adlist.o] Error
  1
  make[1]: Leaving directory `/data0/src/redis-2.6.2/src
  make: *** [all]
  Error 2

    解決辦法:原因是沒有安裝jemalloc內存分配器,可以安裝jemalloc 或 直接

     輸入make MALLOC=libc  && make install


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM