centos下部署redis服務環境及其配置說明


 

Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日志型、Key-Value數據庫,並提供多種語言的API。從2010年3月15日起,Redis的開發工作由VMware主持。
redis是一個key-value存儲系統。和Memcached類似,它支持存儲的value類型相對更多,包括string(字符串)、 list(鏈表)、set(集合)、zset(sorted set –有序集合)和hash(哈希類型)。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原 子性的。在此基礎上,redis支持各種不同方式的排序。與memcached一樣,為了保證效率,數據都是緩存在內存中區別的是redis會周期性的 把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文件,並且在此基礎上實現了master-slave(主從)同步。

先簡單說說redi和mysql的一些區別:

redis和mysql要根據具體業務場景去選型
   
mysql:數據放在磁盤   redis:數據放在內存
redis適合放一些頻繁使用,比較熱的數據,因為是放在內存中,讀寫速度都非常快

首先要知道mysql存儲在磁盤里,redis存儲在內存里,redis既可以用來做持久存儲,也可以做緩存,而目前大多數公司的存儲都是mysql + redis,其中:
mysql作為主存儲,redis作為輔助存儲被用作緩存,加快訪問讀取的速度,提高性能。

那么為什么不直接全部用redis存儲呢?
因為redis存儲在內存中,如果存儲在內存中,存儲容量肯定要比磁盤少很多,那么要存儲大量數據,只能花更多的錢去購買內存,造成在一些不需要高性能的地方是相對比較浪費的,所以目前基本都是mysql(主) + redis(輔),在需要性能的地方使用redis,在不需要高性能的地方使用mysql,好鋼用在刀刃上
1)mysql支持sql查詢,可以實現一些關聯的查詢以及統計;
2)redis對內存要求比較高,在有限的條件下不能把所有數據都放在redis;
3)mysql偏向於存數據,redis偏向於快速取數據,但redis查詢復雜的表關系時不如mysql,所以可以把熱門的數據放redis,mysql存基本數據

下面記錄下redis服務安裝過程:
安裝依賴軟件
[root@dev src]# yum install gcc-c++ tcl

下載並安裝redis(百度雲盤下載地址:https://pan.baidu.com/s/1bAxZzC    提取密碼:ngsc)(redis官網下載最新版:https://redis.io/
[root@dev src]# wget http://download.redis.io/redis-stable.tar.gz
[root@dev src]# tar xvzf redis-stable.tar.gz
[root@dev src]# cd redis-stable
[root@dev redis-stable]# make
--------------------------------------------------------------------------
如果編譯安裝過程中,出現報錯:
zmalloc.h:51:31: error: jemalloc/jemalloc.h: No such file or directory

原因:一些編譯依賴或原來編譯遺留出現的問題
解決方案:make distclean。清理一下,然后再make。
-------------------------------------------------------------------------

在make成功以后,會在src目錄下多出一些可執行文件:redis-server,redis-cli等等。
[root@dev redis-stable]# cd ./src
[root@dev src]# cp redis-server redis-cli redis-check-aof redis-check-rdb redis-sentinel redis-trib.rb /usr/local/bin/

然后新建目錄,存放配置文件
[root@dev src]# mkdir /etc/redis
[root@dev src]# mkdir /var/redis
[root@dev src]# mkdir /var/redis/log
[root@dev src]# mkdir /var/redis/run
[root@dev src]# mkdir /var/redis/redis

在redis解壓根目錄中找到配置文件模板,復制到如下位置。
[root@dev src]# cd ../
[root@dev redis-stable]# cp redis.conf /etc/redis/redis.conf

修改redis.conf配置文件
[root@dev redis-stable]# vim /etc/redis/redis.conf
.......
port 6379
.......
daemonize yes
.......
pidfile /var/redis/run/redis_6379.pid
.......
logfile /var/redis/log/redis_6379.log
.......
dir /var/redis/redis                  //工作目錄,dump文件所在目錄

---------------------------------------------------------------------------------------------------------------------------------
redis默認的持久化方式是RDB,數據寫入到dump文件中。如果要啟用AOF持久化,就在redis.conf文件中配置如下:
appendonly yes         #啟用AOF持久化方式
appendfilename "appendonly.aof"       #AOF文件的名稱,默認為appendonly.aof
# appendfsync always        #每次收到寫命令就立即強制寫入磁盤,是最有保證的完全的持久化,但速度也是最慢的,一般不推薦使用。
appendfsync everysec        #每秒鍾強制寫入磁盤一次,在性能和持久化方面做了很好的折中,是受推薦的方式。
# appendfsync no         #完全依賴OS的寫入,一般為30秒左右一次,性能最好但是持久化最沒有保證,不被推薦。
---------------------------------------------------------------------------------------------------------------------------------

啟動redis服務
[root@dev redis-stable]# redis-server /etc/redis/redis.conf
[root@dev redis-stable]# ps -ef|grep redis
root 3795 1 0 15:33 ? 00:00:00 redis-server 127.0.0.1:6379
root 3799 31415 0 15:33 pts/1 00:00:00 grep --color redis
[root@dev redis-stable]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 3795 root 4u IPv4 58627495 0t0 TCP localhost:6379 (LISTEN)

設置開機啟動
[root@dev ~]# echo "/usr/local/bin/redis-server /etc/redis/redis.conf" >> /etc/rc.local

關閉redis服務
[root@dev ~]# redis-cli shutdown //默認是6379端口
如果端口變化可以指定端口
[root@dev ~]# redis-cli -p 6379 shutdown

------------------------------------------------------------------------------------------------------------
還可以通過如下方法,設置redis服務啟動腳本及開機自啟動
將redis解壓包下utils下redis啟動腳本redis_init_script拷貝至/etc/init.d/,並修改腳本名稱(也可不修改)為redis
[root@dev ~]# cp /usr/local/src/redis-stable/utils/redis_init_script /etc/init.d/redis
[root@dev ~]# chmod +x /etc/init.d/redis

修改腳本pid及conf路徑為實際路徑
[root@dev ~]# vim /etc/init.d/redis
......
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
......

這樣,就可以直接用下面的命令關閉和啟動redis服務了
[root@dev ~]# /etc/init.d/redis stop
Stopping ...
Redis stopped
[root@dev ~]# lsof -i:6379
[root@dev ~]# /etc/init.d/redis start
Starting Redis server...
[root@dev ~]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 9372 root 4u IPv4 58648940 0t0 TCP localhost:6379 (LISTEN)

設置自啟動
[root@dev ~]# chkconfig redis on
redis 服務不支持 chkconfig

這是因為沒有在啟動腳本/etc/init.d/redis里加入redis啟動優先級信息,可添加如下紅色字體的兩行:
[root@dev ~]# vim /etc/init.d/redis
#!/bin/sh
#
# chkconfig: 2345 90 10                                                     //注意:后面的英文空格
# description: Redis is a persistent key-value database          //注意:后面的英文空格

# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
.......

[root@dev ~]# chkconfig redis on
[root@dev ~]# chkconfig --list|grep redis
redis 0:關閉 1:關閉 2:啟用 3:啟用 4:啟用 5:啟用 6:關閉
------------------------------------------------------------------------------------------------------------

初始化Redis的密碼
有以下2個步驟:
1)在配置文件中有個參數: requirepass 這個就是配置redis訪問密碼的參數。
比如 requirepass test123
2)配置文件中參數生效需要重啟重啟redis 。
重啟redis服務后,發現使用redis-cli -p 6379的無密碼方式仍能登錄redis,只是登錄進去后不能做任何操作。
需要用密碼登錄redis-cli -p 6379 -a test123后,才能正常操作

那么不重啟redis的情況下如何配置密碼?
1)在配置文件中配置requirepass的密碼(當redis重啟時密碼依然有效)。
# requirepass foobared
比如修改成:
requirepass test123
2)進入redis重定義參數
查看當前的密碼:
[root@slaver251 redis-2.4.16]# redis-cli -p 6379
redis 127.0.0.1:6379>
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) ""
127.0.0.1:6379>
顯示密碼是空的,
然后設置密碼:
redis 127.0.0.1:6379> config set requirepass test123
OK
再次查詢密碼:
redis 127.0.0.1:6379> config get requirepass
(error) ERR operation not permitted
此時報錯了!
現在只需要密碼認證就可以了。
redis 127.0.0.1:6379> auth test123
OK
再次查詢密碼:
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "test123"
密碼已經得到修改。
當到了可以重啟redis的時候,由於配置參數已經修改,所以密碼會自動生效。
要是配置參數沒添加密碼,那么redis重啟,密碼將相當於沒有設置。
==================================================================================

masterauth是當master節點設置了密碼保護時,slave節點連接master節點的密碼這個是在slave節點配置的
1)如果master節點不設置密碼(即不設置requirepass密碼),那么slave節點在配置同步的時候,只需配置:
#slaveof master的ip 端口
slaveof 192.168.1.150 6379 
2)如果master節點配置了requirepass密碼,那么slave就需要配置masterauth密碼來連接master。特別注意: 如果要設置密碼的話,masterauth和requirepass都要設置,否則主從切換時,會有授權問題! (並且兩者密碼要設置一樣)
比如:
master 節點配置: 

     port 6379
     requirepass redis                                       # master節點只需要設置這一個密碼

slave1 節點配置:
    port 6479
    slaveof 192.168.1.150 6379
    masterauth redis        # 注意,這個是連接master節點,同步數據用的密碼.  slave節點需要設置這兩個密碼
    requirepass redis       # 這個是slave節點上登錄自己的redis用的密碼

=================================================================================
除了在配置文件里設置redis密碼,也可以直接在命令行里設置密碼:

1)設置有密碼
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207  -p 6379 config set masterauth "redis123"
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207  -p 6379 config set requirepass "redis123"
OK
[root@redis-node01 ~]# 

2)登錄
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 p 7000 -a "redis123"
192.168.10.207:7000> 

或者
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 
192.168.10.207:7000> auth redis123
OK
192.168.10.207:7000> 

3)再次設置無密碼
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 
192.168.10.207:7000> auth redis123
OK 
192.168.10.207:7000> config set masterauth ""
OK
192.168.10.207:7000> config set requirepass ""
OK
192.168.10.207:7000> 

slave端的相關配置
slave-read-only yes     #從2.6版本開始支持只讀的slave,默認是yes的
masterauth <master-password> #如果master配置了requirepass設置密碼,slave需要配置連接master的密碼
slave-serve-stale-data yes    #當slave與master斷開或者復制正在進行的時候是否繼續提供服務,默認是yes繼續服務,可以配置為no返回錯誤提示“SYNC with master in progress”(除了INFO和SLAVEOF命令)
repl-ping-slave-period 10 #slave發送心跳的間隔時間,默認是10秒

master端的相關配置
repl-diskless-sync no     #是否使用無盤復制 Diskless replication,默認是no
repl-diskless-sync-delay 5   #無盤復制延時開始秒數,默認是5秒,意思是當PSYNC觸發的時候,master延時多少秒開始向master傳送數據流,以便等待更多的slave連接可以同時傳送數據流,因為一旦PSYNC開始后,如果有新的slave連接master,只能等待下次PSYNC。可以配置為0取消等待,立即開始
repl-backlog-size 1mb   #復制流的內存緩沖區大小,用於增量同步,當master-slave斷開的時候,master保存在復制流內存緩沖區的數據大小限制,默認是1mb。如果至少有1個slave連接的話,就會釋放
repl-backlog-ttl 3600   #復制流的內存緩沖區過時時間,默認3600秒,就是說無論保存在復制流內存緩沖區的數據大小是否超過限制,當master-slave斷開超過上述時間就會釋放
min-slaves-to-write 3    #從2.8版本開始,可以配置與master連接的slave的最少數量,默認是0沒有限制,如果配置>0,需要結合下面的選項一起使用,只有同時滿足這2個選項,master才能接收寫操作
min-slaves-max-lag 10 #允許master-slave的心跳最大間隔,默認是10秒,需要結合min-slaves-to-write選項一起使用

復制+持久化的數據完整性考慮
如果master配置了slave,那么強烈建議master啟用持久化。因為當master重啟的時候,如果沒有啟用持久化,數據會全部丟失,而且當slave重新連接master的時候,slave原有的數據也會被清空。如果真的要配置不啟用持久化,最好不要設置自動啟動master,除非數據全部丟失對你來說不重要。

======================================================================
當redis服務日志出現下面報錯:

34145] 01 Jan 17:42:02 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue 
add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' 

原因分析:
redis在dump數據的時候,會fork出一個子進程,理論上child進程所占用的內存和parent是一樣的,比如parent占用的內存為8G,這個時候也要同樣分配8G的內存給
hild,如果內存無法負擔,往往會造成redis服務器的down機或者IO負載過高,效率下降。所以這里比較優化的內存分配策略應該設置為 1(表示內核允許分配所有的物理內存,
而不管當前的內存狀態如何)。

overcommit_memory參數說明: 
設置內存分配策略(可選,根據服務器的實際情況進行設置) /proc/sys/vm/overcommit_memory 可選值:0、1、2。 
0:表示內核將檢查是否有足夠的可用內存供應用進程使用;如果有足夠的可用內存,內存申請允許;否則,內存申請失敗,並把錯誤返回給應用進程。 
1:表示內核允許分配所有的物理內存,而不管當前的內存狀態如何。 
2:表示內核允許分配超過所有物理內存和交換空間總和的內存。

解決辦法:
# echo 1 > /proc/sys/vm/overcommit_memory

或者
# vim /etc/sysctl.conf 
vm.overcommit_memory=1
# sysctl -p

下面是對redis.conf文件配置解釋:

1. Redis默認不是以守護進程的方式運行,可以通過該配置項修改,使用yes啟用守護進程
    daemonize no
2. 當Redis以守護進程方式運行時,Redis默認會把pid寫入/var/run/redis.pid文件,可以通過pidfile指定
    pidfile /var/run/redis.pid
3. 指定Redis監聽端口,默認端口為6379,作者在自己的一篇博文中解釋了為什么選用6379作為默認端口,因為6379在手機按鍵上MERZ對應的號碼,而MERZ取自意大利歌女Alessia Merz的名字
    port 6379
4. 綁定的主機地址。說明只能redis-cli連接本機redis的時候只能通過這個ip連接。
    bind 127.0.0.1
5.當 客戶端閑置多長時間后關閉連接,如果指定為0,表示關閉該功能
    timeout 300
6. 指定日志記錄級別,Redis總共支持四個級別:debug、verbose、notice、warning,默認為verbose
    loglevel verbose
7. 日志記錄方式,默認為標准輸出,如果配置Redis為守護進程方式運行,而這里又配置為日志記錄方式為標准輸出,則日志將會發送給/dev/null
    logfile stdout
8. 設置數據庫的數量,默認數據庫為0,可以使用SELECT <dbid>命令在連接上指定數據庫id
    databases 16
9. 指定在多長時間內,有多少次更新操作,就將數據同步到數據文件,可以多個條件配合
    save <seconds> <changes>
    Redis默認配置文件中提供了三個條件(打開這三行的上面一行的注釋,即 save "" 這個注釋去掉就表示關閉snapshot快照功能;):
    save 900 1
    save 300 10
    save 60 10000
    分別表示900秒(15分鍾)內有1個更改,300秒(5分鍾)內有10個更改以及60秒內有10000個更改。
10. 指定存儲至本地數據庫時是否壓縮數據,默認為yes,Redis采用LZF壓縮,如果為了節省CPU時間,可以關閉該選項,但會導致數據庫文件變的巨大
    rdbcompression yes
11. 指定本地數據庫文件名,默認值為dump.rdb
    dbfilename dump.rdb
12. 指定本地數據庫存放目錄
    dir ./
13. 設置當本機為slav服務時,設置master服務的IP地址及端口,在Redis啟動時,它會自動從master進行數據同步
    slaveof <masterip> <masterport>
14. 當master服務設置了密碼保護時,slav服務連接master的密碼. 如果要設置密碼的話,masterauth和requirepass都要設置,否則主從切換時,會有授權問題! (並且兩者密碼要設置一樣)
    masterauth <master-password>
15. 設置Redis連接密碼,如果配置了連接密碼,客戶端在連接Redis時需要通過AUTH <password>命令提供密碼,默認關閉
    requirepass foobared  
16. 設置同一時間最大客戶端連接數,默認無限制,Redis可以同時打開的客戶端連接數為Redis進程可以打開的最大文件描述符數,如果設置 maxclients 0,表示不作限制。當客戶端連接數到達限制時,Redis會關閉新的連接並向客戶端返回max number of clients reached錯誤信息
    maxclients 128
17. 指定Redis最大內存限制,Redis在啟動時會把數據加載到內存中,達到最大內存后,Redis會先嘗試清除已到期或即將到期的Key,當此方法處理 后,仍然到達最大內存設置,將無法再進行寫入操作,但仍然可以進行讀取操作。Redis新的vm機制,會把Key存放內存,Value會存放在swap區
    maxmemory <bytes>
18. 指定是否在每次更新操作后進行日志記錄,Redis在默認情況下是異步的把數據寫入磁盤,如果不開啟,可能會在斷電時導致一段時間內的數據丟失。因為 redis本身同步數據文件是按上面save條件來同步的,所以有的數據會在一段時間內只存在於內存中。默認為no
    appendonly no
19. 指定更新日志文件名,默認為appendonly.aof
appendfilename appendonly.aof
20. 指定更新日志條件,共有3個可選值: 
    appendfsync no:表示等操作系統進行數據緩存同步到磁盤。完全依賴OS的寫入,一般為30秒左右一次,性能最好但是持久化最沒有保證,不被推薦。(快) 
    appendfsync always:#每次收到寫命令就立即強制寫入磁盤,是最有保證的完全的持久化,但速度也是最慢的,一般不推薦使用。(慢,安全) 
    appendfsync everysec:表示每秒同步一次(折中,默認值),每秒鍾強制寫入磁盤一次,在性能和持久化方面做了很好的折中,這種fsync策略可以兼顧速度和安全性,是受推薦的方式。
    appendfsync everysec
21. 指定是否啟用虛擬內存機制,默認值為no,簡單的介紹一下,VM機制將數據分頁存放,由Redis將訪問量較少的頁即冷數據swap到磁盤上,訪問多的頁面由磁盤自動換出到內存中(在后面的文章我會仔細分析Redis的VM機制)
vm-enabled no
22. 虛擬內存文件路徑,默認值為/tmp/redis.swap,不可多個Redis實例共享
vm-swap-file /tmp/redis.swap
23. 將所有大於vm-max-memory的數據存入虛擬內存,無論vm-max-memory設置多小,所有索引數據都是內存存儲的(Redis的索引數據 就是keys),也就是說,當vm-max-memory設置為0的時候,其實是所有value都存在於磁盤。默認值為0
vm-max-memory 0
24. Redis swap文件分成了很多的page,一個對象可以保存在多個page上面,但一個page上不能被多個對象共享,vm-page-size是要根據存儲的 數據大小來設定的,作者建議如果存儲很多小對象,page大小最好設置為32或者64bytes;如果存儲很大大對象,則可以使用更大的page,如果不 確定,就使用默認值
vm-page-size 32
25. 設置swap文件中的page數量,由於頁表(一種表示頁面空閑或使用的bitmap)是在放在內存中的,,在磁盤上每8個pages將消耗1byte的內存。
vm-pages 134217728
26. 設置訪問swap文件的線程數,最好不要超過機器的核數,如果設置為0,那么所有對swap文件的操作都是串行的,可能會造成比較長時間的延遲。默認值為4
vm-max-threads 4
27. 設置在向客戶端應答時,是否把較小的包合並為一個包發送,默認為開啟
    glueoutputbuf yes
28. 指定在超過一定的數量或者最大的元素超過某一臨界值時,采用一種特殊的哈希算法
    hash-max-zipmap-entries 64
    hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默認為開啟(后面在介紹Redis的哈希算法時具體介紹)
    activerehashing yes
30. 指定包含其它的配置文件,可以在同一主機上多個Redis實例之間使用同一份配置文件,而同時各個實例又擁有自己的特定配置文件
    include /path/to/local.conf


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM