這兩天突然想起redis,索性就再嘗試一下搭建最新版本的redis,過程有點艱辛呀,記錄一下,供自己和大家今后搭建做參考。
一、為什么用Redis?
我自己總結了一下:
1、基於內存實現的key-value類型的存儲,速度快,性能好。
2、支持多種存儲類型,有Strings,Hashes,Sets,Lists,Sorted Sets類型。
3、支持數據持久化,有Snapshotting,Append-Only File模式的持久化。
4、支持集群和哨兵。
5、支持主從復制。
6、支持簡單的事務控制。
7、支持消息的發布和訂閱。
8、安全性的支持。
9、支持數據過期。等等
二、Redis的應用場景
總結了以下幾點,應用場景特別多,大家根據其特性可類推其作用:
1、主要是用於熱點數據的存儲,比如Top100,最新10個數據。
2、時間過期(如短信驗證碼的過期時間等)。
3、計數器,由於Redis是單線程且命令的原子性,可用來構建計數器。
4、可用來構建隊列,Sorted Sets。
5、緩存,為減輕數據庫訪問壓力。
6、分布式鎖,分布式session管理。
三、Redis主要功能介紹。
先介紹Redis的幾個主要功能。
1、不同數據類型的存儲。這個我在這里就不講了。哈哈,大家去百度下都有了。
2、高級特性。在這里,我通過redis的redis.conf配置文件來給大家講解,只講經常會用到的,其余配置,大家感興趣可自己學習下。
(1)、NETWORK,網絡配置。
- bind:綁定服務器的網卡IP,由於一個服務器可能有多個網卡,配置這個bind屬性,可限制訪問該網卡IP才能訪問到Redis。注意:不是綁定外部訪問該服務器的IP,網上很多地方都是錯誤講解的。我這邊搭建環境一般都是將其注釋掉,允許該服務器所有IP都能訪問到Redis服務。默認是bind 127.0.0.1。
- protected-mode:Redis服務的保護模式,保護模式下,只能允許127.0.0.1 and ::1這種本地訪問,配置默認為開啟狀態protected-mode yes。這里要注意保護模式的生效條件。根據配置文件中注釋:
# When protected mode is on and if:1) The server is not binding explicitly to a set of addresses using the "bind" directive.2) No password is configured.
該模式在bind被注釋掉和沒有配置訪問密碼的時候才生效。一般可讓其為開啟狀態,同時配置訪問密碼,來實現Redis的服務安全性。
- port:配置Redis服務的端口。很重要哦。默認是6379。
(2)、GENERAL,常規配置。
- daemonize:服務是否后台運行,默認是no,我們自己沒有改的話,啟動redis時候,會占用當前連接。所以,大家記得改成yes,讓其在后台運行。
- pidfile:配置Redis服務的PID號存在哪個文件。由於可能在同一服務器上啟動多個Redis服務,所以,大家最好指定具體的PID文件,且不同的Redis服務的PID文件不同。
如配置為:pidfile /var/run/redis_(端口).pid
- logfile:指定Redis服務的日志路徑,大家記得也修改一下。
(3)、SNAPSHOTTING,快照類型的持久化配置,這里說明下快照的原理:快照是Redis的默認持久化方式,這種方式就是以快照的方式將內存中的數據寫到二進制文件中,文件名為dump.rdb。介紹下快照保存的步驟:1、redis調用fork,產生一個子進程。2、父進程繼續接受client的請求處理數據,利用copy on write,將執行快照動作時候的內存拷貝做成副本。3、子進程通過副本將數據寫入臨時文件,並替換之前的dump.rdb文件,然后退出。所以,快照持久化的數據是執行快照動作時的內存數據。Client可以通過調用save或者bgsave命令執行快照,不同點事save命令由redis主進程完成,會阻塞所以client請求,而bgsave是開啟子進程執行,不會阻塞其他client請求。需要注意的是,當Redis服務是作為大數據量的內存存儲時,調用快照,由於數據量較大,且是快照所有內存數據,這會造成大量磁盤IO動作,可能會嚴重影響性能。
- save 900 1
save 300 10
save 60 10000
save <seconds> <changes>,配置快照觸發的條件。解讀第一個sava:900秒內有一個key值變化,則會觸發快照。可配置多個條件,條件是獨立的。
- stop-writes-on-bgsave-error:這個配置默認為yes,是指Redis在后台持久化失敗后,為了讓客戶感知到,會拒絕寫服務,直到后台持久化恢復正常。如果需要在后台持久化失敗后,希望能繼續服務。可將其設置為no。
- dbfilename:指定二進制文件名,默認為dump.rdb。
- dir:指定rdb文件路徑。配置為文件夾那一層。在一台服務器上啟動多個Redis服務時,注意修改為不同文件路徑。
(4)、REPLICATION,主從模式的配置。注意,之前版本的redis,配置為slave of,現在改為REPLICATION。主從模式,可以是樹狀的,從服務屬於多台主服務,且從服務也可以有從服務。主從模式,可實現讀寫分離;高可用模式下,主服務出現問題,也可以通過哨兵切換從服務為主服務;可實現主服務不用數據持久化,從服務進行持久化工作,減輕主服務負擔等等。
- replicaof <masterip> <masterport>:配置主服務的ip和端口。配置之后,就是這台機器的小弟了。主服務也能知道誰是他的小弟。
- masterauth <master-password>:如果主服務需要密碼認證,這里需要配置從服務連接主服務的密碼。
- replica-read-only:默認為yes,配置從服務默認為只讀模式。
(5)、SECURITY,安全配置。
- requirepass:配置連接該Redis服務需要的認證密碼。注意一下,由於redis的請求速度特別快,每秒150K,所以密碼強度一定要高一些,不然很快就會被破解。
(6)、CLIENTS,客戶端配置
- maxclients:配置最大客戶端連接數,最大支持10000個。超過了連接時,客戶端會收到超過最大連接數的提示。
(7)、MEMORY MANAGEMENT,內存管理配置。配置Redis服務占用的最大內存,超過內存后,會將設置超時的key按超時時間來剔除,如果沒有可剔除的key后,那就報內存已滿。配置沒細細研究,下來研究一下補充。
(8)、APPEND ONLY MODE,aof模式的另一種持久化方式。這種模式,是為了彌補快照模式的不足。快照模式下,對於大內存數據時,快照嚴重影響性能,而且,快照是有觸發條件的時間間隔,這個間隔時間內,如果Redis服務Down掉,那這個時間段的數據就消失了。如果應用的數據一致性要求比較高,那就可以使用AOF模式。AOF模式是在收到寫命令后,通過write將命令追加到appendonly.aof文件中。Redis重啟后,通過讀取該文件中的命令來重新恢復內存數據(注意,如果同時存在aof和rdb文件,Redis服務啟動時,優先讀取aof文件)。注意:持久化文件會越來越大,而且會有很多重復的命令,這也會導致不必要的內存影響,所以,Redis提供了bgrewriteaof命令來重建aof文件,過程如下:1、主進程調用fork,產生子進程。2、Redis子進程通過當前數據的快照,往aof臨時文件中寫入數據命令。3、redis主進程繼續接收命令,並存在緩存中。4、子進程寫完快照命令后,通知主進程,主進程將緩存中的命令也寫入臨時aof文件中。5、寫完后,主進程用臨時的aof文件替換之前的aof文件。
- appendonly:默認為no,關閉aof模式,需要開啟則設置為yes。
- appendfilename :"appendonly.aof",指定aof文件名。
- appendfsync :always,每次寫操作時觸發aof。
appendfsync :everysec,每秒寫一次aof,默認設置,3個配置選一個就行。
appendfsync :no,依賴os系統,當系統想刷新aof時,就執行aof。(任性,性能高,不穩定,和快照感覺差不多)。
(9)、REDIS CLUSTER,redis集群配置。
- cluster-enabled:默認是注釋掉,不啟用集群模式的。取消注釋即可開啟集群模式。
- cluster-config-file:指定cluster的配置文件,每個cluster的節點都需要這個配置文件,會在簡歷集群的時候自動填充內容,所以,需要指定為不同的文件。
- cluster-node-timeout:超過這個時間,某個節點不能被連通,則視該節點為failover狀態。
(10)、其余配置項大家自己研究一下。
四、Redis集群及哨兵簡單介紹
集群:集群是一個提供在多Redis節點間共享數據的程序集。Redis集群會把數據分配到不同的片區,引入了16384個哈希槽,哈希槽會分布在集群中的主節點,key通過CRC16校驗后,對16384取模,來決定數據落在哪個槽內,有利於添加或刪除節點,只需進行哈希槽的重新分配。集群通過主從模式,具有高可用性,某個主節點fail后,集群會選取主節點下一個從節點作為新的主節點,並給它分配之前主節點的槽位,如果切換完成后,舊的主節點上線,它此時也只能作為新的主節點的從節點。注意,Redis5.0之前,部署集群需要安裝ruby等,但在Redis5.0中,不需要安裝Ruby,直接使用redis-cli就可以創建集群!
哨兵:主從模式下,為了使主從具備高可用性,就需要通過哨兵進行監控,在主節點下線后,會通過投票出新的主節點,在主節點上線后,也只能作為新主節點的從節點。哨兵在生產環境下,也需要具備高可用,所以哨兵一般也要配置為集群。
五、搭建主從模式的Redis服務,並啟動多個哨兵進行監控
1、下載redis。下載地址:http://www.redis.cn/download.html。
2、解壓,編譯Redis。
(1)、新建一個文件夾放Redis服務相關的東西。
(2)、在該文件夾下解壓、編譯Redis。
tar -zxvf redis-5.0.0.tar.gz
make && make install
(3)、在解壓后的Redis文件夾中,找到redis.conf文件,該文件是啟動redis服務所需文件,拿出來,我們這里建三個redis服務,一主兩從,將文件拷貝三份,分別命名為redis-7000.conf,redis-7001.conf,redis-7002.conf,分別編輯以下內容,注意如果配置的文件夾不存在,則需要新建好。其余配置保持默認。我舉一個例子說明:
- #bind 127.0.0.1,將bind注釋掉。
- port 7000:改變其服務端口,三份文件端口分別為7000,7001,7002,注意檢查端口是否被其他程序占用。
- daemonize yes:修改服務為后台運行。
- pidfile /var/run/redis_7000.pid:指定不同的pid文件,注意三份配置文件不同。
- logfile "/var/redis/7000.log":指定log日志路徑,自己配,要求不同。
- dir /opt/redis-cluster/redis-7000:這個指定rdb文件的路徑配置,要求改成不同。
- # replicaof <masterip> <masterport>:主服務這句話注釋,從服務配置的兩台需要開啟。配置主服務的ip的port。
- masterauth ibethfy:都配上吧,從服務到主服務的認證密碼。
- requirepass ibethfy:三份文件都配置,客戶端訪問需要密碼驗證。
(4)、配置好三份文件后,使用redis-server redis-7000.conf,redis-server redis-7001.conf,redis-server redis-7002.conf啟動服務,注意我是在配置文件路徑執行的命令。
使用ps -ef|grep redis查看是否三個服務都正常啟動,使用redis-cli -h ip地址 -p 端口 -a 密碼,通過客戶端登陸,執行info replication,可以查看到主從信息。
(5)、搭建哨兵。新起一台linux吧。同樣執行1,2步驟,安裝redis。拷貝sentinel.conf三份,分別為sentinel-26380.conf,sentinel-26381.conf,sentinel-26382.conf。
(6)、修改sentinel
- protected-mode no:關閉保護模式,使外網能訪問。
- port 26380:修改端口。三份文件分別不同。
- daemonize yes:修改為后台運行。
- pidfile /opt/redis-cluster/redis-sentinel-26380/sentinel.pid:指定不同pid文件,注意文件夾不存在自己要新建。
- logfile "/opt/redis-cluster/redis-sentinel-26380/26380.log":配置哨兵日志文件。
- dir /opt/redis-cluster/redis-sentinel-26380:配置哨兵工作路徑。
- sentinel monitor master7000 192.167.3.145 7000 2:配置哨兵需要監控的主節點ip和端口,最后的2代表,如果有2個哨兵主觀認為主節點down了,那么就客觀認為主節點down掉了,開始發起投票選舉新主節點的操作。多個主節點配置多個。
- sentinel auth-pass master7000 ibethfy:配置哨兵連接主節點的認證密碼。(主節點配置的requirepass)。
- sentinel down-after-milliseconds master7000 5000:配置多少毫秒后沒收到主節點的反饋,則主觀認為主節點down了。
- sentinel failover-timeout master7000 30000:failover過期時間。當failover開始后,在此時間內仍然沒有觸發任何failover操作,當前sentinel將會認為此次failoer失敗。
注意,配置前把之前的默認的mymaster開啟的配置全部注銷掉!或者直接在其上修改!不然會出現問題!
(7)、在配置文件目錄下執行redis-sentinel sentinel-26380.conf,redis-sentinel sentinel-26381.conf,redis-sentinel sentinel-26382.conf,分別啟動三個哨兵。
(8)、測試,kill掉7000端口的redis服務,一段時間后,登陸到其他端口的客戶端,查看info replication,此時是否從節點的某一個已切換成主節點,另一個從節點屬於新主節點的從節點。並測試主節點再次上線后,是否是新主節點的從節點。
(9)、哨兵的細節問題,可參考:http://www.redis.cn/topics/sentinel.html。
六、集群搭建
(1)、同樣解壓安裝、編譯Redis,拷貝redis.conf文件,分別為7000-7008,共九個文件。准備搭建1主2從的3套Redis。
(2)、配置文件修改,同主從搭建的第三步,只是不需要配置服務的狀態了,將replicaof <masterip> <masterport>這個注釋掉。
- cluster-enabled yes:開啟集群模式。
- cluster-config-file nodes-7000.conf:指定不同的集群節點配置文件,集群會自己修改內容。
- cluster-node-timeout 15000:配置多少毫秒后,主節點失聯將會觸發節點切換。
(3)、使用redis-server redis-7000.conf等將所有節點啟動。
(4)、使用redis-cli配置集群。命令和啟動成功的提示如下。過程中會讓你看下節點分配是否可以,輸入yes確定。通過日志可以看到,主節點為7000,7001,7002,每個主節點各兩個從節點,replicates后面跟的是主節點的nodeid。Slots 0-5460表明各主節點分配到的槽位。
[root@rhel64 redis-cluster]# redis-cli --cluster create 192.167.3.145:7000 192.167.3.145:7001 192.167.3.145:7002 192.167.3.145:7003 192.167.3.145:7004 192.167.3.145:7005 192.167.3.145:7006 192.167.3.145:7007 192.167.3.145:7008 --cluster-replicas 2 -a ibethfy Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. >>> Performing hash slots allocation on 9 nodes... Master[0] -> Slots 0 - 5460 Master[1] -> Slots 5461 - 10922 Master[2] -> Slots 10923 - 16383 Adding replica 192.167.3.145:7003 to 192.167.3.145:7000 Adding replica 192.167.3.145:7004 to 192.167.3.145:7000 Adding replica 192.167.3.145:7005 to 192.167.3.145:7001 Adding replica 192.167.3.145:7006 to 192.167.3.145:7001 Adding replica 192.167.3.145:7007 to 192.167.3.145:7002 Adding replica 192.167.3.145:7008 to 192.167.3.145:7002 >>> Trying to optimize slaves allocation for anti-affinity [WARNING] Some slaves are in the same host as their master M: 35d56aab1045bded29a8b273dca0d8a9258b4182 192.167.3.145:7000 slots:[0-5460] (5461 slots) master M: 238c6ca906531cd0feeebaaa6ff2afb84b9cc072 192.167.3.145:7001 slots:[5461-10922] (5462 slots) master M: 144577204f66c0857920dd3ce91ad3248a16e426 192.167.3.145:7002 slots:[10923-16383] (5461 slots) master S: a98785183466cc59ae39599779196d986402c94a 192.167.3.145:7003 replicates 35d56aab1045bded29a8b273dca0d8a9258b4182 S: d80ffdfeef5a536e5e9aaa69aa175b42ca5b1f32 192.167.3.145:7004 replicates 238c6ca906531cd0feeebaaa6ff2afb84b9cc072 S: 43bf3f2f15cd963f2cb7cbc8427e3c5d70d8b9dc 192.167.3.145:7005 replicates 35d56aab1045bded29a8b273dca0d8a9258b4182 S: 0723dfeeb31015178791eba46f895076ca66bc05 192.167.3.145:7006 replicates 144577204f66c0857920dd3ce91ad3248a16e426 S: 603d61677a6044e57e415afb325d7a81501a78c8 192.167.3.145:7007 replicates 238c6ca906531cd0feeebaaa6ff2afb84b9cc072 S: 110918384563a4173bb17d36b6dd6958a3e97b3c 192.167.3.145:7008 replicates 144577204f66c0857920dd3ce91ad3248a16e426 Can I set the above configuration? (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join .......... >>> Performing Cluster Check (using node 192.167.3.145:7000) M: 35d56aab1045bded29a8b273dca0d8a9258b4182 192.167.3.145:7000 slots:[0-5460] (5461 slots) master 2 additional replica(s) S: 603d61677a6044e57e415afb325d7a81501a78c8 192.167.3.145:7007 slots: (0 slots) slave replicates 238c6ca906531cd0feeebaaa6ff2afb84b9cc072 S: 0723dfeeb31015178791eba46f895076ca66bc05 192.167.3.145:7006 slots: (0 slots) slave replicates 144577204f66c0857920dd3ce91ad3248a16e426 M: 238c6ca906531cd0feeebaaa6ff2afb84b9cc072 192.167.3.145:7001 slots:[5461-10922] (5462 slots) master 2 additional replica(s) M: 144577204f66c0857920dd3ce91ad3248a16e426 192.167.3.145:7002 slots:[10923-16383] (5461 slots) master 2 additional replica(s) S: d80ffdfeef5a536e5e9aaa69aa175b42ca5b1f32 192.167.3.145:7004 slots: (0 slots) slave replicates 238c6ca906531cd0feeebaaa6ff2afb84b9cc072 S: 110918384563a4173bb17d36b6dd6958a3e97b3c 192.167.3.145:7008 slots: (0 slots) slave replicates 144577204f66c0857920dd3ce91ad3248a16e426 S: 43bf3f2f15cd963f2cb7cbc8427e3c5d70d8b9dc 192.167.3.145:7005 slots: (0 slots) slave replicates 35d56aab1045bded29a8b273dca0d8a9258b4182 S: a98785183466cc59ae39599779196d986402c94a 192.167.3.145:7003 slots: (0 slots) slave replicates 35d56aab1045bded29a8b273dca0d8a9258b4182 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered.
(5)、測試節點下線,這里就不說明了。結論是主節點故障后,下掛從節點會有一個升級成主節點,並接替主節點的槽位。另一個從節點切換成作為新主節點的從節點。舊主節點上線后,也只能作為其從節點。
(6)、高級特性我這里不說明了,太多了,給大家一個網址:http://www.redis.cn/topics/cluster-tutorial.html。
七、最后,希望各位有問題能留言提出,大家可以一起學習成長!