redis5.0.0功能介紹以及主從集群、哨兵搭建


這兩天突然想起redis,索性就再嘗試一下搭建最新版本的redis,過程有點艱辛呀,記錄一下,供自己和大家今后搭建做參考。

一、為什么用Redis?

  我自己總結了一下:

  1、基於內存實現的key-value類型的存儲,速度快,性能好。

  2、支持多種存儲類型,有Strings,Hashes,Sets,Lists,Sorted Sets類型。

  3、支持數據持久化,有Snapshotting,Append-Only File模式的持久化。

  4、支持集群和哨兵。

  5、支持主從復制。

  6、支持簡單的事務控制。

  7、支持消息的發布和訂閱。

  8、安全性的支持。

  9、支持數據過期。等等

二、Redis的應用場景

  總結了以下幾點,應用場景特別多,大家根據其特性可類推其作用:

  1、主要是用於熱點數據的存儲,比如Top100,最新10個數據。

  2、時間過期(如短信驗證碼的過期時間等)。

  3、計數器,由於Redis是單線程且命令的原子性,可用來構建計數器。

  4、可用來構建隊列,Sorted Sets。

  5、緩存,為減輕數據庫訪問壓力。

  6、分布式鎖,分布式session管理。

三、Redis主要功能介紹。

  先介紹Redis的幾個主要功能。

  1、不同數據類型的存儲。這個我在這里就不講了。哈哈,大家去百度下都有了。

  2、高級特性。在這里,我通過redis的redis.conf配置文件來給大家講解,只講經常會用到的,其余配置,大家感興趣可自己學習下。

  (1)、NETWORK,網絡配置。

  • bind:綁定服務器的網卡IP,由於一個服務器可能有多個網卡,配置這個bind屬性,可限制訪問該網卡IP才能訪問到Redis。注意:不是綁定外部訪問該服務器的IP,網上很多地方都是錯誤講解的。我這邊搭建環境一般都是將其注釋掉,允許該服務器所有IP都能訪問到Redis服務。默認是bind 127.0.0.1。
  • protected-mode:Redis服務的保護模式,保護模式下,只能允許127.0.0.1 and ::1這種本地訪問,配置默認為開啟狀態protected-mode yes。這里要注意保護模式的生效條件。根據配置文件中注釋:

    # When protected mode is on and if:1) The server is not binding explicitly to a set of addresses using the "bind" directive.2) No password is configured.

   該模式在bind被注釋掉和沒有配置訪問密碼的時候才生效。一般可讓其為開啟狀態,同時配置訪問密碼,來實現Redis的服務安全性。

  • port:配置Redis服務的端口。很重要哦。默認是6379。

  (2)、GENERAL,常規配置。

  • daemonize:服務是否后台運行,默認是no,我們自己沒有改的話,啟動redis時候,會占用當前連接。所以,大家記得改成yes,讓其在后台運行。
  • pidfile:配置Redis服務的PID號存在哪個文件。由於可能在同一服務器上啟動多個Redis服務,所以,大家最好指定具體的PID文件,且不同的Redis服務的PID文件不同。

   如配置為:pidfile /var/run/redis_(端口).pid

  • logfile:指定Redis服務的日志路徑,大家記得也修改一下。

  (3)、SNAPSHOTTING,快照類型的持久化配置,這里說明下快照的原理:快照是Redis的默認持久化方式,這種方式就是以快照的方式將內存中的數據寫到二進制文件中,文件名為dump.rdb。介紹下快照保存的步驟:1、redis調用fork,產生一個子進程。2、父進程繼續接受client的請求處理數據,利用copy on write,將執行快照動作時候的內存拷貝做成副本。3、子進程通過副本將數據寫入臨時文件,並替換之前的dump.rdb文件,然后退出。所以,快照持久化的數據是執行快照動作時的內存數據。Client可以通過調用save或者bgsave命令執行快照,不同點事save命令由redis主進程完成,會阻塞所以client請求,而bgsave是開啟子進程執行,不會阻塞其他client請求。需要注意的是,當Redis服務是作為大數據量的內存存儲時,調用快照,由於數據量較大,且是快照所有內存數據,這會造成大量磁盤IO動作,可能會嚴重影響性能。

  • save 900 1
    save 300 10
    save 60 10000

   save <seconds> <changes>,配置快照觸發的條件。解讀第一個sava:900秒內有一個key值變化,則會觸發快照。可配置多個條件,條件是獨立的。

  • stop-writes-on-bgsave-error:這個配置默認為yes,是指Redis在后台持久化失敗后,為了讓客戶感知到,會拒絕寫服務,直到后台持久化恢復正常。如果需要在后台持久化失敗后,希望能繼續服務。可將其設置為no。
  • dbfilename:指定二進制文件名,默認為dump.rdb。
  • dir:指定rdb文件路徑。配置為文件夾那一層。在一台服務器上啟動多個Redis服務時,注意修改為不同文件路徑。

  (4)、REPLICATION,主從模式的配置。注意,之前版本的redis,配置為slave of,現在改為REPLICATION。主從模式,可以是樹狀的,從服務屬於多台主服務,且從服務也可以有從服務。主從模式,可實現讀寫分離;高可用模式下,主服務出現問題,也可以通過哨兵切換從服務為主服務;可實現主服務不用數據持久化,從服務進行持久化工作,減輕主服務負擔等等。

  • replicaof <masterip> <masterport>:配置主服務的ip和端口。配置之后,就是這台機器的小弟了。主服務也能知道誰是他的小弟。
  • masterauth <master-password>:如果主服務需要密碼認證,這里需要配置從服務連接主服務的密碼。
  • replica-read-only:默認為yes,配置從服務默認為只讀模式。

  (5)、SECURITY,安全配置。

  • requirepass:配置連接該Redis服務需要的認證密碼。注意一下,由於redis的請求速度特別快,每秒150K,所以密碼強度一定要高一些,不然很快就會被破解。

  (6)、CLIENTS,客戶端配置

  • maxclients:配置最大客戶端連接數,最大支持10000個。超過了連接時,客戶端會收到超過最大連接數的提示。

  (7)、MEMORY MANAGEMENT,內存管理配置。配置Redis服務占用的最大內存,超過內存后,會將設置超時的key按超時時間來剔除,如果沒有可剔除的key后,那就報內存已滿。配置沒細細研究,下來研究一下補充。

  (8)、APPEND ONLY MODE,aof模式的另一種持久化方式。這種模式,是為了彌補快照模式的不足。快照模式下,對於大內存數據時,快照嚴重影響性能,而且,快照是有觸發條件的時間間隔,這個間隔時間內,如果Redis服務Down掉,那這個時間段的數據就消失了。如果應用的數據一致性要求比較高,那就可以使用AOF模式。AOF模式是在收到寫命令后,通過write將命令追加到appendonly.aof文件中。Redis重啟后,通過讀取該文件中的命令來重新恢復內存數據(注意,如果同時存在aof和rdb文件,Redis服務啟動時,優先讀取aof文件)。注意:持久化文件會越來越大,而且會有很多重復的命令,這也會導致不必要的內存影響,所以,Redis提供了bgrewriteaof命令來重建aof文件,過程如下:1、主進程調用fork,產生子進程。2、Redis子進程通過當前數據的快照,往aof臨時文件中寫入數據命令。3、redis主進程繼續接收命令,並存在緩存中。4、子進程寫完快照命令后,通知主進程,主進程將緩存中的命令也寫入臨時aof文件中。5、寫完后,主進程用臨時的aof文件替換之前的aof文件。

  • appendonly:默認為no,關閉aof模式,需要開啟則設置為yes。
  • appendfilename :"appendonly.aof",指定aof文件名。
  • appendfsync :always,每次寫操作時觸發aof。
    appendfsync :everysec,每秒寫一次aof,默認設置,3個配置選一個就行。
    appendfsync :no,依賴os系統,當系統想刷新aof時,就執行aof。(任性,性能高,不穩定,和快照感覺差不多)。

  (9)、REDIS CLUSTER,redis集群配置。

  • cluster-enabled:默認是注釋掉,不啟用集群模式的。取消注釋即可開啟集群模式。
  • cluster-config-file:指定cluster的配置文件,每個cluster的節點都需要這個配置文件,會在簡歷集群的時候自動填充內容,所以,需要指定為不同的文件。
  • cluster-node-timeout:超過這個時間,某個節點不能被連通,則視該節點為failover狀態。

  (10)、其余配置項大家自己研究一下。

四、Redis集群及哨兵簡單介紹

  集群:集群是一個提供在多Redis節點間共享數據的程序集。Redis集群會把數據分配到不同的片區,引入了16384個哈希槽,哈希槽會分布在集群中的主節點,key通過CRC16校驗后,對16384取模,來決定數據落在哪個槽內,有利於添加或刪除節點,只需進行哈希槽的重新分配。集群通過主從模式,具有高可用性,某個主節點fail后,集群會選取主節點下一個從節點作為新的主節點,並給它分配之前主節點的槽位,如果切換完成后,舊的主節點上線,它此時也只能作為新的主節點的從節點。注意,Redis5.0之前,部署集群需要安裝ruby等,但在Redis5.0中,不需要安裝Ruby,直接使用redis-cli就可以創建集群!

  哨兵:主從模式下,為了使主從具備高可用性,就需要通過哨兵進行監控,在主節點下線后,會通過投票出新的主節點,在主節點上線后,也只能作為新主節點的從節點。哨兵在生產環境下,也需要具備高可用,所以哨兵一般也要配置為集群。

五、搭建主從模式的Redis服務,並啟動多個哨兵進行監控

  1、下載redis。下載地址:http://www.redis.cn/download.html。

  2、解壓,編譯Redis。

  (1)、新建一個文件夾放Redis服務相關的東西。

  (2)、在該文件夾下解壓、編譯Redis。

    tar -zxvf redis-5.0.0.tar.gz

    make && make install

  (3)、在解壓后的Redis文件夾中,找到redis.conf文件,該文件是啟動redis服務所需文件,拿出來,我們這里建三個redis服務,一主兩從,將文件拷貝三份,分別命名為redis-7000.conf,redis-7001.conf,redis-7002.conf,分別編輯以下內容,注意如果配置的文件夾不存在,則需要新建好。其余配置保持默認。我舉一個例子說明:

  • #bind 127.0.0.1,將bind注釋掉。
  • port 7000:改變其服務端口,三份文件端口分別為7000,7001,7002,注意檢查端口是否被其他程序占用。
  • daemonize yes:修改服務為后台運行。
  • pidfile /var/run/redis_7000.pid:指定不同的pid文件,注意三份配置文件不同。
  • logfile "/var/redis/7000.log":指定log日志路徑,自己配,要求不同。
  • dir /opt/redis-cluster/redis-7000:這個指定rdb文件的路徑配置,要求改成不同。
  • # replicaof <masterip> <masterport>:主服務這句話注釋,從服務配置的兩台需要開啟。配置主服務的ip的port。
  • masterauth ibethfy:都配上吧,從服務到主服務的認證密碼。
  • requirepass ibethfy:三份文件都配置,客戶端訪問需要密碼驗證。

  (4)、配置好三份文件后,使用redis-server redis-7000.conf,redis-server redis-7001.conf,redis-server redis-7002.conf啟動服務,注意我是在配置文件路徑執行的命令。

    使用ps -ef|grep redis查看是否三個服務都正常啟動,使用redis-cli -h ip地址 -p 端口 -a 密碼,通過客戶端登陸,執行info replication,可以查看到主從信息。

  (5)、搭建哨兵。新起一台linux吧。同樣執行1,2步驟,安裝redis。拷貝sentinel.conf三份,分別為sentinel-26380.conf,sentinel-26381.conf,sentinel-26382.conf。

  (6)、修改sentinel

  • protected-mode no:關閉保護模式,使外網能訪問。
  • port 26380:修改端口。三份文件分別不同。
  • daemonize yes:修改為后台運行。
  • pidfile /opt/redis-cluster/redis-sentinel-26380/sentinel.pid:指定不同pid文件,注意文件夾不存在自己要新建。
  • logfile "/opt/redis-cluster/redis-sentinel-26380/26380.log":配置哨兵日志文件。
  • dir /opt/redis-cluster/redis-sentinel-26380:配置哨兵工作路徑。
  • sentinel monitor master7000 192.167.3.145 7000 2:配置哨兵需要監控的主節點ip和端口,最后的2代表,如果有2個哨兵主觀認為主節點down了,那么就客觀認為主節點down掉了,開始發起投票選舉新主節點的操作。多個主節點配置多個。
  • sentinel auth-pass master7000 ibethfy:配置哨兵連接主節點的認證密碼。(主節點配置的requirepass)。
  • sentinel down-after-milliseconds master7000 5000:配置多少毫秒后沒收到主節點的反饋,則主觀認為主節點down了。
  • sentinel failover-timeout master7000 30000:failover過期時間。當failover開始后,在此時間內仍然沒有觸發任何failover操作,當前sentinel將會認為此次failoer失敗。  

         注意,配置前把之前的默認的mymaster開啟的配置全部注銷掉!或者直接在其上修改!不然會出現問題!

  (7)、在配置文件目錄下執行redis-sentinel sentinel-26380.conf,redis-sentinel sentinel-26381.conf,redis-sentinel sentinel-26382.conf,分別啟動三個哨兵。

  (8)、測試,kill掉7000端口的redis服務,一段時間后,登陸到其他端口的客戶端,查看info replication,此時是否從節點的某一個已切換成主節點,另一個從節點屬於新主節點的從節點。並測試主節點再次上線后,是否是新主節點的從節點。

  (9)、哨兵的細節問題,可參考:http://www.redis.cn/topics/sentinel.html。

六、集群搭建

  (1)、同樣解壓安裝、編譯Redis,拷貝redis.conf文件,分別為7000-7008,共九個文件。准備搭建1主2從的3套Redis。

  (2)、配置文件修改,同主從搭建的第三步,只是不需要配置服務的狀態了,將replicaof <masterip> <masterport>這個注釋掉。

  • cluster-enabled yes:開啟集群模式。
  • cluster-config-file nodes-7000.conf:指定不同的集群節點配置文件,集群會自己修改內容。
  • cluster-node-timeout 15000:配置多少毫秒后,主節點失聯將會觸發節點切換。

  (3)、使用redis-server redis-7000.conf等將所有節點啟動。

  (4)、使用redis-cli配置集群。命令和啟動成功的提示如下。過程中會讓你看下節點分配是否可以,輸入yes確定。通過日志可以看到,主節點為7000,7001,7002,每個主節點各兩個從節點,replicates后面跟的是主節點的nodeid。Slots 0-5460表明各主節點分配到的槽位。

[root@rhel64 redis-cluster]# redis-cli --cluster create 192.167.3.145:7000 192.167.3.145:7001 192.167.3.145:7002 192.167.3.145:7003 192.167.3.145:7004 192.167.3.145:7005 192.167.3.145:7006 192.167.3.145:7007 192.167.3.145:7008 --cluster-replicas 2 -a ibethfy
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 9 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.167.3.145:7003 to 192.167.3.145:7000
Adding replica 192.167.3.145:7004 to 192.167.3.145:7000
Adding replica 192.167.3.145:7005 to 192.167.3.145:7001
Adding replica 192.167.3.145:7006 to 192.167.3.145:7001
Adding replica 192.167.3.145:7007 to 192.167.3.145:7002
Adding replica 192.167.3.145:7008 to 192.167.3.145:7002
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: 35d56aab1045bded29a8b273dca0d8a9258b4182 192.167.3.145:7000
   slots:[0-5460] (5461 slots) master
M: 238c6ca906531cd0feeebaaa6ff2afb84b9cc072 192.167.3.145:7001
   slots:[5461-10922] (5462 slots) master
M: 144577204f66c0857920dd3ce91ad3248a16e426 192.167.3.145:7002
   slots:[10923-16383] (5461 slots) master
S: a98785183466cc59ae39599779196d986402c94a 192.167.3.145:7003
   replicates 35d56aab1045bded29a8b273dca0d8a9258b4182
S: d80ffdfeef5a536e5e9aaa69aa175b42ca5b1f32 192.167.3.145:7004
   replicates 238c6ca906531cd0feeebaaa6ff2afb84b9cc072
S: 43bf3f2f15cd963f2cb7cbc8427e3c5d70d8b9dc 192.167.3.145:7005
   replicates 35d56aab1045bded29a8b273dca0d8a9258b4182
S: 0723dfeeb31015178791eba46f895076ca66bc05 192.167.3.145:7006
   replicates 144577204f66c0857920dd3ce91ad3248a16e426
S: 603d61677a6044e57e415afb325d7a81501a78c8 192.167.3.145:7007
   replicates 238c6ca906531cd0feeebaaa6ff2afb84b9cc072
S: 110918384563a4173bb17d36b6dd6958a3e97b3c 192.167.3.145:7008
   replicates 144577204f66c0857920dd3ce91ad3248a16e426
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
..........
>>> Performing Cluster Check (using node 192.167.3.145:7000)
M: 35d56aab1045bded29a8b273dca0d8a9258b4182 192.167.3.145:7000
   slots:[0-5460] (5461 slots) master
   2 additional replica(s)
S: 603d61677a6044e57e415afb325d7a81501a78c8 192.167.3.145:7007
   slots: (0 slots) slave
   replicates 238c6ca906531cd0feeebaaa6ff2afb84b9cc072
S: 0723dfeeb31015178791eba46f895076ca66bc05 192.167.3.145:7006
   slots: (0 slots) slave
   replicates 144577204f66c0857920dd3ce91ad3248a16e426
M: 238c6ca906531cd0feeebaaa6ff2afb84b9cc072 192.167.3.145:7001
   slots:[5461-10922] (5462 slots) master
   2 additional replica(s)
M: 144577204f66c0857920dd3ce91ad3248a16e426 192.167.3.145:7002
   slots:[10923-16383] (5461 slots) master
   2 additional replica(s)
S: d80ffdfeef5a536e5e9aaa69aa175b42ca5b1f32 192.167.3.145:7004
   slots: (0 slots) slave
   replicates 238c6ca906531cd0feeebaaa6ff2afb84b9cc072
S: 110918384563a4173bb17d36b6dd6958a3e97b3c 192.167.3.145:7008
   slots: (0 slots) slave
   replicates 144577204f66c0857920dd3ce91ad3248a16e426
S: 43bf3f2f15cd963f2cb7cbc8427e3c5d70d8b9dc 192.167.3.145:7005
   slots: (0 slots) slave
   replicates 35d56aab1045bded29a8b273dca0d8a9258b4182
S: a98785183466cc59ae39599779196d986402c94a 192.167.3.145:7003
   slots: (0 slots) slave
   replicates 35d56aab1045bded29a8b273dca0d8a9258b4182
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

  (5)、測試節點下線,這里就不說明了。結論是主節點故障后,下掛從節點會有一個升級成主節點,並接替主節點的槽位。另一個從節點切換成作為新主節點的從節點。舊主節點上線后,也只能作為其從節點。

  (6)、高級特性我這里不說明了,太多了,給大家一個網址:http://www.redis.cn/topics/cluster-tutorial.html。

 七、最后,希望各位有問題能留言提出,大家可以一起學習成長!

 

      

 

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM