redis-cluster配置
為什么要用redis-cluster
1.並發問題
redis官方聲稱可以達到 10萬/每秒,每秒執行10萬條命令
假如業務需要每秒100萬的命令執行呢？
2.數據量太大
一台服務器內存正常是16~256G，假如你的業務需要500G內存，
新浪微博作為世界上最大的redis存儲，就超過1TB的數據，去哪買這么大的內存條？各大公司有自己的解決方案，推出各自的集群功能，核心思想都是將數據分片（sharding）存儲在多個redis實例中，每一片就是一個redis實例。
各大企業集群方案： twemproxy由Twitter開源 Codis由豌豆莢開發，基於GO和C開發 redis-cluster官方3.0版本后的集群方案
解決方案如下
- 配置一個超級牛逼的計算機，超大內存，超強cpu，但是問題是。。。。
2.正確的應該是考慮分布式，加機器，把數據分到不同的位置，分攤集中式的壓力，一堆機器做一件事
客戶端分片
redis3.0集群采用P2P模式，完全去中心化，將redis所有的key分成了16384個槽位，每個redis實例負責一部分slot，集群中的所有信息通過節點數據交換而更新。
redis實例集群主要思想是將redis數據的key進行散列，通過hash函數特定的key會映射到指定的redis節點上
數據分布原理圖
數據分布理論
分布式數據庫首要解決把整個數據集按照分區規則映射到多個節點的問題，即把數據集划分到多個節點上，每個節點負責整個數據的一個子集。
常見的分區規則有哈希分區和順序分區。Redis Cluster采用哈希分區規則，因此接下來會討論哈希分區規則。
- 節點取余分區
- 一致性哈希分區
- 虛擬槽分區(redis-cluster采用的方式)
順序分區
哈希分區
節點取余分區算法
那么同樣的分4個節點就是hash(key)%4
節點取余的優點是簡單，客戶端分片直接是哈希+取余
一致性哈希
客戶端進行分片，哈希+順時針取余
虛擬槽分區
Redis Cluster采用虛擬槽分區
虛擬槽分區巧妙地使用了哈希空間，使用分散度良好的哈希函數把所有的數據映射到一個固定范圍內的整數集合，整數定義為槽（slot）。
Redis Cluster槽的范圍是0～16383。
槽是集群內數據管理和遷移的基本單位。采用大范圍的槽的主要目的是為了方便數據的拆分和集群的擴展，
每個節點負責一定數量的槽。
搭建redis cluster
搭建集群分為幾部
- 准備節點（幾匹馬兒）
- 節點通信（幾匹馬兒分配主從）
- 分配槽位給節點（slot分配給馬兒）
redis-cluster集群架構
多個服務端，負責讀寫，彼此通信，redis指定了16384個槽。 多匹馬兒，負責運輸數據，馬兒分配16384個槽位，管理數據。 ruby的腳本自動就把分配槽位這事做了
安裝方式
官方提供通過ruby語言的腳本一鍵安裝
1.環境准備
通過配置，開啟redis-cluster
port 7000 daemonize yes dir "/opt/redis/data" logfile "/opt/redis/logs/7000.log" dbfilename "dump-7000.rdb" cluster-enabled yes # 開啟集群模式 cluster-config-file nodes-7000.conf # 集群內部的配置文件 cluster-require-full-coverage no # redis cluster需要16384個slot都正常的時候才能對外提供服務，換句話說，只要任何一個slot異常那么整個cluster不對外提供服務。 因此生產環境一般為no
簡潔配置
redis支持多實例的功能，我們在單機演示集群搭建，需要6個實例，三個是主節點，三個是從節點，數量為6個節點才能保證高可用的集群。
每個節點僅僅是端口運行的不同！
[root@yugo /opt/redis/config 17:12:30]#ls redis-7000.conf redis-7002.conf redis-7004.conf redis-7001.conf redis-7003.conf redis-7005.conf
#確保每個配置文件中的端口修改！！
2.運行redis實例
創建6個節點的redis實例
1855 2018-10-24 15:46:01 redis-server redis-7000.conf 1856 2018-10-24 15:46:13 redis-server redis-7001.conf 1857 2018-10-24 15:46:16 redis-server redis-7002.conf 1858 2018-10-24 15:46:18 redis-server redis-7003.conf 1859 2018-10-24 15:46:20 redis-server redis-7004.conf 1860 2018-10-24 15:46:23 redis-server redis-7005.conf
檢查日志文件
cat 7000.log
檢查redis服務的端口、進程
netstat -tunlp|grep redis ps -ef|grep redis
此時集群還不可用，可以通過登錄redis查看
redis-cli -p 7000 set hello world (error)CLUSTERDOWN The cluster is down # 提示槽位沒有分配
3.創建開啟redis-cluster
准備ruby環境
分配redis集群狀態，以及槽位分配，互聯網企業，豆瓣公司開源的一個工具
- 下載、編譯、安裝Ruby
- 安裝rubygem redis
- 安裝redis-trib.rb命令
第一步，安裝ruby(這些命令可以放入一個sh腳本文件里)
# 下載ruby wget https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.1.tar.gz # 安裝ruby tar -xvf ruby-2.3.1.tar.gz
cd ruby-2.3.1/ ./configure --prefix=/opt/ruby/ make && make install # 配置ruby的環境變量 vim /etc/profile 寫入如下配置 PATH=$PATH:/opt/ruby/bin # 准備一個ruby命令 # 准備一個gem軟件包管理命令 # 拷貝ruby命令到path下/usr/local/ruby cp /opt/ruby/bin/ruby /usr/local/ cp bin/gem /usr/local/bin
安裝ruby gem 包管理工具
wget http://rubygems.org/downloads/redis-3.3.0.gem gem install -l redis-3.3.0.gem
#查看gem有哪些包 gem list -- check redis gem
安裝redis-trib.rb命令
[root@yugo /opt/redis/src 18:38:13]#cp /opt/redis/src/redis-trib.rb /usr/local/bin/
一鍵開啟redis-cluster集群
redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
--replicas # 表示進行身份授權 1 # 表示每個主節點，只有一個從節點 # 集群會自動分配主從關系 7000、7001、7002為主服務器master 7003、7004、7005為從服務器slave
查看集群狀態
redis-cli -p 7000 cluster info redis-cli -p 7000 cluster nodes #等同於查看nodes-7000.conf文件節點信息 集群主節點狀態 redis-cli -p 7000 cluster nodes | grep master 集群從節點狀態 redis-cli -p 7000 cluster nodes | grep slave
安裝完畢后，檢查集群狀態
[root@yugo /opt/redis/src 18:42:14]#redis-cli -p 7000 cluster info cluster_state:ok cluster_slots_assigned:16384 cluster_slots_ok:16384 cluster_slots_pfail:0 cluster_slots_fail:0 cluster_known_nodes:6 cluster_size:3 cluster_current_epoch:6 cluster_my_epoch:1 cluster_stats_messages_ping_sent:10468 cluster_stats_messages_pong_sent:10558 cluster_stats_messages_sent:21026 cluster_stats_messages_ping_received:10553 cluster_stats_messages_pong_received:10468 cluster_stats_messages_meet_received:5 cluster_stats_messages_received:21026
測試寫入集群數據，登錄集群必須使用redis-cli -c -p 7000必須加上-c參數
127.0.0.1:7000> set name tiger -> Redirected to slot [5798] located at 127.0.0.1:7001 OK 127.0.0.1:7001> exit [root@yugo /opt/redis/src 18:46:07]#redis-cli -c -p 7000 127.0.0.1:7000> ping PONG 127.0.0.1:7000> keys * (empty list or set) 127.0.0.1:7000> get name -> Redirected to slot [5798] located at 127.0.0.1:7001 "tiger"
集群ok
工作原理：
redis客戶端任意訪問一個redis實例，如果數據不在該實例中，通過重定向引導客戶端訪問所需要的redis實例