Redis集群的離線安裝以及原理理解


  本文主要是記錄一下Redis集群在linux系統下離線的安裝步驟,畢竟在生產環境下一般都是無法聯網的,Redis的集群的Ruby環境安裝過程還是很麻煩的,涉及到很多的依賴的安裝,所以寫了一個文章來進行記錄。本文分為兩部分,第一部分先通過原生命令的安裝來實現redis集群的部署,通過原生命令的安裝對於了解redis集群的實現原理有很大的幫助,第二部分通過官方工具Ruby來進行Redis集群的安裝,通過Ruby安裝Redis集群的時候主要是搭建好Ruby環境,真正Redis集群的安裝配置通過Ruby還是很簡單的。

  一、通過原生命令安裝Redis集群(僅做理解Redis集群原理使用)

    1.配置開啟所需要的Redis節點     

     因為這里只是做一個簡單的Redis集群原理演示,所以假設此時Redis服務已經安裝完畢,在config文件夾下創建六個redis.conf配置文件,分別為redis-7000.conf、redis-7001.conf、redis-7002.conf、redis-7003.conf、redis-7004.conf、redis-7005.conf。其內容如下:

port ${port}
daemonize yes
dir "/opt/redis/redis/data/"
dbfilename "dump-${port}.rdb"
logfile "${port}.log"
cluster-enabled yes //開啟節點的集群功能
cluster-config-file nodes-${port}.conf
cluster-require-full-coverage no
cluster-node-timeout 15000

     依次啟動六個redis后台服務
     redis-server redis-7000.conf
     redis-server redis-7001.conf
     redis-server redis-7002.conf
     redis-server redis-7003.conf
     redis-server redis-7004.conf
     redis-server redis-7005.conf
     ps -ef | grep redis查看啟動情況:

    

    2.通過集群命令meet完成節點之間的相互通信     

    meet:cluster meet ip port
    redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7001
    redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7002
    redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7003
    redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7004
    redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7005
    通過端口為7000的節點,其他的節點也可以相互感知到對方的存在,然后每兩個節點之間都會通信。

    驗證:登錄端口號為7000節點以后,分別輸入cluster nodes和cluster info 命令。
    

    3.指派槽

    完成了節點之間的通信以后,就需要給每個主節點分配虛擬槽,一共存在16384個slot,redis節點之間互相知道哪個槽在哪個節點上,如果數據訪問到了不屬於自己的槽的redis,redis會告訴數據應該去訪問哪個redis
    指派槽的命令:cluster addslots slot[slot...]
    redis-cli -h 127.0.0.1 -p 7000 cluster addslots {0...5641}
    redis-cli -h 127.0.0.1 -p 7001 cluster addslots {5642...10922}
    redis-cli -h 127.0.0.1 -p 7002 cluster addslots {10923...16383}
    在這里發現使用addslots 只能一個一個輸入,感覺非常扯,使用數組的方式redis會報錯,用網上的解決辦法是將大括號里的 三個點改為兩個點,我試了試不行的,如果有什么好的解決辦法可以提供一下。     

    4.配置節點的主從關系     

    cluster replicate node-id
    redis-cli -h 127.0.0.1 -p 7003 cluster replicate ${node-id-7000}
    redis-cli -h 127.0.0.1 -p 7004 cluster replicate ${node-id-7001}
    redis-cli -h 127.0.0.1 -p 7005 cluster replicate ${node-id-7002}
    到此通過原生命令安裝Redis集群就已經完成了,中間的步驟存在問題,無法分配slots,但是可以幫助簡單的理解一下由Redis的單節點到Redis的集群都需要做什么工作。 

  二、通過Ruby離線安裝Redis集群     

    1.安裝環境以及安裝包說明     

系統:Centos7(安裝的時候選擇安裝了gcc)
安裝包:redis-4.0.6.tar.gz //redis 的安裝包
    ruby-2.5.6.tar.gz //集群搭建需要Ruby環境
    rubygems-3.0.6.zip    //redis集群需要的ruby插件,rubygems是ruby的一個包管理工具,通過rubygems安裝redis-3.2.2.gem
    zlib-1.2.11.tar.gz    //可能缺少的基礎環境zlib
    openssl-1.0.2t.tar.gz //可能缺少的基礎環境openssl

    2.安裝步驟     

    (1)解壓編譯redis      

mkdir /usr/local/redis //創建redis工作目錄
cp redis-4.0.6.tar.gz /usr/local/redis //將redis的安裝包拷貝到redis目錄下
cd /usr/local/redis //進去redis文件下
tar -vxf redis-4.0.6.tar.gz //解壓縮
ln -s redis-4.0.6 redis //建立軟連接
cd redis //進入redis目錄下
make && make install //編譯安裝redis

    (2)創建集群目錄      

cd /usr/local/redis
mkdir redis_cluster //在redis安裝目錄下創建redis_cluster目錄
mkdir redis700{0,1,2,3,4,5}//批量創建六個redis節點工作目錄,三主三從。


    

    (3)配置redis.conf

     cd /usr/local/redis/redis_cluster //進去集群工作目錄
     vim redis.conf //創建redis.conf文件並添加一下內容

port 7000 //配置集群的端口
bind 本機的IP //這里的默認配置是127.0.0.1改為內網ip。
daemonize yes //允許redis在后台運行
pidfile /var/run/redis-7000.pid //改成和端口一致
cluster-enabled yes // 開啟集群 把注釋去掉
cluster-config-file node-7000.conf //集群的配置,和端口一致
cluster-node-timeout 15000 // 請求超時,默認為15秒
appendonly yes // aof日志開啟,有需要就開啟,每一次寫操作都會記錄一條日志。

    將redis.conf 分別copy到六個節點的文件下
    cp redis.conf redis7000/ //將配置文件拷貝到redis7000節點的工作目錄下
    cp redis.conf redis7001/
    cp redis.conf redis7002/
    cp redis.conf redis7003/
    cp redis.conf redis7004/
    cp redis.conf redis7005/

    因為配置文件是根據7000端口模本的配置寫的,所以除了redis7000目錄下的redis.conf,其他工作目錄下的配置文件都需要將文件內容中的端口號修改為對應的工作目錄的端口號。    

   (4)啟動服務       

    cd /usr/local/redis/redis_cluster
    依次啟動所有節點
    redis-server redis7000/redis.conf
    redis-server redis7001/redis.conf
    redis-server redis7002/redis.conf
    redis-server redis7003/redis.conf
    redis-server redis7004/redis.conf
    redis-server redis7005/redis.conf
    查看啟動情況:ps -ef | grep redis
    

    (5)安裝ruby

mkdir /usr/local/ruby //創建ruby工作目錄
cp ruby-2.5.6.tar.gz /usr/local/ruby //將安裝包拷貝到該目錄下
cd /usr/local/ruby //進入ruby工作目錄
tar -vxf ruby-2.5.6.tar.gz // 解壓縮
cd ruby-2.5.6/
./configure
make && make install

     查看安裝情況:ruby -v
    

    (6)安裝rubygems

mkdir /usr/local/rubygems //創建rubygems工作目錄
cp rubygems-3.0.6.zip /usr/local/rubygems //將安裝包拷貝到該目錄下
cd /usr/local/rubygems //進入ruby工作目錄
unzip rubygems-3.0.6.zip // 解壓縮
cd rubygems-3.0.6/
ruby setup.rb

    執行 ruby setup.rb  的時候出現以下錯誤:


      
解決辦法:缺少了zlib包,需要安裝zlib 。    

    (7)安裝zlib

mkdir /usr/local/zlib //創建zlib工作目錄
cp zlib-1.2.11.tar.gz /usr/local/zlib //將安裝包拷貝到該目錄下
cd /usr/local/zlib //進入zlib工作目錄
tar -vxf zlib-1.2.11.tar.gz // 解壓縮
cd zlib-1.2.11/
./configure --prefix=/usr/local/zlib

make
make install

    (8)編譯ruby中的zlib       

cd /usr/local/ruby/ruby-2.5.6/ext/zlib/
ruby extconf.rb

     出現以下錯誤信息:

     發現原來是要將文件安裝到本地運行庫的里面才行,所有安裝的時候需要額外配置信息。重新執行一下命令:

ruby extconf.rb --with-zlib-include=/usr/local/zlib/include/ --with-zlib-lib=/usr/local/zlib/lib //會生成一個Makefile文件


    繼續下一步:make && make install
    又出現報錯信息:

    這個時候打開ext/zlib/Makefile文件,找到下面一行把路徑進行修改一下。

    zlib.o: $(top_srcdir)/include/ruby.h 改成:zlib.o: ../../include/ruby.h
    如下圖:

    修改完成,然后保存,然后重新:make && make install
 
  zlib的錯誤都解決以后再繼續重新安裝rubygems。

cd /usr/local/rubygems/rubygems-3.0.6
ruby setup.rb

這次就安裝成功了,如下圖:
    

    (9)安裝redis-3.0.0.gem

cp redis-3.0.0.gem /usr/local/redis/redis
cd /usr/local/redis/redis
gem install redis-3.3.0.gem

    出現以下錯誤信息:

   因為Redis集群交互是需要OpenSSL,所系我們還需要安裝OpenSSL。     

    (10)安裝openssl

mkdir /usr/local/openssl //創建openssl工作目錄
cp openssl-1.0.2t.tar.gz /usr/local/openssl //將安裝包拷貝到該目錄下
cd /usr/local/openssl //進入openssl工作目錄
tar -vxf openssl-1.0.2t.tar.gz // 解壓縮
cd openssl-1.0.2t/
./config -fPIC --prefix=/usr/local/openssl enable-shared
./config -t
make && make install

    安裝成功:
    

    (11)編譯ruby中的openssl

cd /usr/local/ruby/ruby-2.5.6/ext/openssl/
ruby extconf.rb --with-openssl-include=/usr/local/openssl/include/ --with-openssl-lib=/usr/local/openssl/lib 此時會生成Makefile文件,下面出現的錯誤需要修改本文件
make && make install

    出現以下錯誤信息:

    解決辦法:vim Makefile 把Makefile文件中所有的 $(top_srcdir) 換成 ../.. 注意替換所有
    替換完成后,重新進行

make && make install

    安裝成功:

    安裝成功以后繼續進行第九步的安裝redis-3.0.0.gem

cd /usr/local/redis/redis/
gem install redis-3.0.0.gem

    安裝成功:

    到這里ruby環境總算是安裝成功了,真是不容易啊,其實redis cluster的安裝的主要內容還是上面的Ruby環境的安裝配置過程。     

    (12)啟動redis集群      

cd /usr/local/redis/redis/src/

    在該目錄下執行命令:

./redis-trib.rb create --replicas 1 192.168.182.132:7000 192.168.182.132:7001 192.168.182.132:7002 192.168.182.132:7003 192.168.182.132:7004 192.168.182.132:7005

  
  輸入yes
  安裝成功:
    

    (13)驗證集群狀態       

      以普通方式連接到7002端口的節點 redis-cli -p 7002 -h 192.168.182.132
      參數說明: -p port 端口 -h host 主機 -c cluster 集群
      連接進集群之后 輸入ping , 如果響應了pong 表示連接集群成功;
      CLUSTER INFO 列出當前節點的信息,CLUSTER NODES 列出當前集群中的節點信息;

     執行命令:set hello word

    7002節點報錯,客戶端該數據應該使用7000端口的客戶端才能添加(是因為登錄的時候沒有加-c)
    登錄7000端口的客戶端重新set hello world,添加數據成功(上次在7002中添加hello world沒有成功,所以在7000中獲取hello是沒有內容的)

    使用集群方式連接集群redis-cli -p 7003 -h 192.168.182.132 -c(7003是7000的備機)
    查詢hello:

get hello

   
    重新設置hello的值:

set hello java

    設置成功:

    通過對比發現如果登錄的時候不加-c(非集群模式登錄,登錄的是單節點),添加數據時,如果數據的key的虛擬槽位沒有在該redis上則不能添加成功,即單節點登錄,對redis的操作不會進行重定向。     

    (14)驗證集群的主從配置     

    關閉7002端口的節點
    kill -9 7002redis節點的pid
    登錄到7000端口的節點:

redis-cli -p 7000 -h 192.168.182.132 -c
cluster nodes

    CLUSTER NODES 前面的字符串是節點的id。從這個命令還可以知道哪些節點還活着,哪些節點已經掛了。帶着fail的都是已經掛掉的節點。

    集群信息顯示7002節點已經down掉,7005取代7002成為主節點

  總結:雖然整個過程是讓人很糟心的,但是總歸是成功了,實踐出真理。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM