Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日志型、Key-Value數據庫,並提供多種語言的API。從2010年3月15日起,Redis的開發工作由VMware主持。
redis是一個key-value存儲系統。和Memcached類似,它支持存儲的value類型相對更多,包括string(字符串)、 list(鏈表)、set(集合)、zset(sorted set –有序集合)和hash(哈希類型)。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原 子性的。在此基礎上,redis支持各種不同方式的排序。與memcached一樣,為了保證效率,數據都是緩存在內存中。區別的是redis會周期性的 把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文件,並且在此基礎上實現了master-slave(主從)同步。
先簡單說說redi和mysql的一些區別:
redis和mysql要根據具體業務場景去選型 mysql:數據放在磁盤 redis:數據放在內存 redis適合放一些頻繁使用,比較熱的數據,因為是放在內存中,讀寫速度都非常快 首先要知道mysql存儲在磁盤里,redis存儲在內存里,redis既可以用來做持久存儲,也可以做緩存,而目前大多數公司的存儲都是mysql + redis,其中: mysql作為主存儲,redis作為輔助存儲被用作緩存,加快訪問讀取的速度,提高性能。 那么為什么不直接全部用redis存儲呢? 因為redis存儲在內存中,如果存儲在內存中,存儲容量肯定要比磁盤少很多,那么要存儲大量數據,只能花更多的錢去購買內存,造成在一些不需要高性能的地方是相對比較浪費的,所以目前基本都是mysql(主) + redis(輔),在需要性能的地方使用redis,在不需要高性能的地方使用mysql,好鋼用在刀刃上 1)mysql支持sql查詢,可以實現一些關聯的查詢以及統計; 2)redis對內存要求比較高,在有限的條件下不能把所有數據都放在redis; 3)mysql偏向於存數據,redis偏向於快速取數據,但redis查詢復雜的表關系時不如mysql,所以可以把熱門的數據放redis,mysql存基本數據
下面記錄下redis服務安裝過程:
安裝依賴軟件
[root@dev src]# yum install gcc-c++ tcl
下載並安裝redis(百度雲盤下載地址:https://pan.baidu.com/s/1bAxZzC 提取密碼:ngsc)(redis官網下載最新版:https://redis.io/)
[root@dev src]# wget http://download.redis.io/redis-stable.tar.gz
[root@dev src]# tar xvzf redis-stable.tar.gz
[root@dev src]# cd redis-stable
[root@dev redis-stable]# make
--------------------------------------------------------------------------
如果編譯安裝過程中,出現報錯:
zmalloc.h:51:31: error: jemalloc/jemalloc.h: No such file or directory
原因:一些編譯依賴或原來編譯遺留出現的問題
解決方案:make distclean。清理一下,然后再make。
-------------------------------------------------------------------------
在make成功以后,會在src目錄下多出一些可執行文件:redis-server,redis-cli等等。
[root@dev redis-stable]# cd ./src
[root@dev src]# cp redis-server redis-cli redis-check-aof redis-check-rdb redis-sentinel redis-trib.rb /usr/local/bin/
然后新建目錄,存放配置文件
[root@dev src]# mkdir /etc/redis
[root@dev src]# mkdir /var/redis
[root@dev src]# mkdir /var/redis/log
[root@dev src]# mkdir /var/redis/run
[root@dev src]# mkdir /var/redis/redis
在redis解壓根目錄中找到配置文件模板,復制到如下位置。
[root@dev src]# cd ../
[root@dev redis-stable]# cp redis.conf /etc/redis/redis.conf
修改redis.conf配置文件
[root@dev redis-stable]# vim /etc/redis/redis.conf
.......
port 6379
.......
daemonize yes
.......
pidfile /var/redis/run/redis_6379.pid
.......
logfile /var/redis/log/redis_6379.log
.......
dir /var/redis/redis //工作目錄,dump文件所在目錄
---------------------------------------------------------------------------------------------------------------------------------
redis默認的持久化方式是RDB,數據寫入到dump文件中。如果要啟用AOF持久化,就在redis.conf文件中配置如下:
appendonly yes #啟用AOF持久化方式
appendfilename "appendonly.aof" #AOF文件的名稱,默認為appendonly.aof
# appendfsync always #每次收到寫命令就立即強制寫入磁盤,是最有保證的完全的持久化,但速度也是最慢的,一般不推薦使用。
appendfsync everysec #每秒鍾強制寫入磁盤一次,在性能和持久化方面做了很好的折中,是受推薦的方式。
# appendfsync no #完全依賴OS的寫入,一般為30秒左右一次,性能最好但是持久化最沒有保證,不被推薦。
---------------------------------------------------------------------------------------------------------------------------------
啟動redis服務
[root@dev redis-stable]# redis-server /etc/redis/redis.conf
[root@dev redis-stable]# ps -ef|grep redis
root 3795 1 0 15:33 ? 00:00:00 redis-server 127.0.0.1:6379
root 3799 31415 0 15:33 pts/1 00:00:00 grep --color redis
[root@dev redis-stable]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 3795 root 4u IPv4 58627495 0t0 TCP localhost:6379 (LISTEN)
設置開機啟動
[root@dev ~]# echo "/usr/local/bin/redis-server /etc/redis/redis.conf" >> /etc/rc.local
關閉redis服務
[root@dev ~]# redis-cli shutdown //默認是6379端口
如果端口變化可以指定端口
[root@dev ~]# redis-cli -p 6379 shutdown
------------------------------------------------------------------------------------------------------------
還可以通過如下方法,設置redis服務啟動腳本及開機自啟動
將redis解壓包下utils下redis啟動腳本redis_init_script拷貝至/etc/init.d/,並修改腳本名稱(也可不修改)為redis
[root@dev ~]# cp /usr/local/src/redis-stable/utils/redis_init_script /etc/init.d/redis
[root@dev ~]# chmod +x /etc/init.d/redis
修改腳本pid及conf路徑為實際路徑
[root@dev ~]# vim /etc/init.d/redis
......
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli
PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
......
這樣,就可以直接用下面的命令關閉和啟動redis服務了
[root@dev ~]# /etc/init.d/redis stop
Stopping ...
Redis stopped
[root@dev ~]# lsof -i:6379
[root@dev ~]# /etc/init.d/redis start
Starting Redis server...
[root@dev ~]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 9372 root 4u IPv4 58648940 0t0 TCP localhost:6379 (LISTEN)
設置自啟動
[root@dev ~]# chkconfig redis on
redis 服務不支持 chkconfig
這是因為沒有在啟動腳本/etc/init.d/redis里加入redis啟動優先級信息,可添加如下紅色字體的兩行:
[root@dev ~]# vim /etc/init.d/redis
#!/bin/sh
#
# chkconfig: 2345 90 10 //注意:后面的英文空格
# description: Redis is a persistent key-value database //注意:后面的英文空格
# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli
PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
.......
[root@dev ~]# chkconfig redis on
[root@dev ~]# chkconfig --list|grep redis
redis 0:關閉 1:關閉 2:啟用 3:啟用 4:啟用 5:啟用 6:關閉
------------------------------------------------------------------------------------------------------------
初始化Redis的密碼
有以下2個步驟:
1)在配置文件中有個參數: requirepass 這個就是配置redis訪問密碼的參數。
比如 requirepass test123
2)配置文件中參數生效需要重啟重啟redis 。
重啟redis服務后,發現使用redis-cli -p 6379的無密碼方式仍能登錄redis,只是登錄進去后不能做任何操作。
需要用密碼登錄redis-cli -p 6379 -a test123后,才能正常操作
那么不重啟redis的情況下如何配置密碼?
1)在配置文件中配置requirepass的密碼(當redis重啟時密碼依然有效)。
# requirepass foobared
比如修改成:
requirepass test123
2)進入redis重定義參數
查看當前的密碼:
[root@slaver251 redis-2.4.16]# redis-cli -p 6379
redis 127.0.0.1:6379>
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) ""
127.0.0.1:6379>
顯示密碼是空的,
然后設置密碼:
redis 127.0.0.1:6379> config set requirepass test123
OK
再次查詢密碼:
redis 127.0.0.1:6379> config get requirepass
(error) ERR operation not permitted
此時報錯了!
現在只需要密碼認證就可以了。
redis 127.0.0.1:6379> auth test123
OK
再次查詢密碼:
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "test123"
密碼已經得到修改。
當到了可以重啟redis的時候,由於配置參數已經修改,所以密碼會自動生效。
要是配置參數沒添加密碼,那么redis重啟,密碼將相當於沒有設置。
==================================================================================
masterauth是當master節點設置了密碼保護時,slave節點連接master節點的密碼,這個是在slave節點配置的。
1)如果master節點不設置密碼(即不設置requirepass密碼),那么slave節點在配置同步的時候,只需配置:
#slaveof master的ip 端口
slaveof 192.168.1.150 6379
2)如果master節點配置了requirepass密碼,那么slave就需要配置masterauth密碼來連接master。特別注意: 如果要設置密碼的話,masterauth和requirepass都要設置,否則主從切換時,會有授權問題! (並且兩者密碼要設置一樣)
比如:
master 節點配置:
port 6379
requirepass redis # master節點只需要設置這一個密碼
slave1 節點配置:
port 6479
slaveof 192.168.1.150 6379
masterauth redis # 注意,這個是連接master節點,同步數據用的密碼. slave節點需要設置這兩個密碼
requirepass redis # 這個是slave節點上登錄自己的redis用的密碼
=================================================================================
除了在配置文件里設置redis密碼,也可以直接在命令行里設置密碼:
1)設置有密碼 [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -p 6379 config set masterauth "redis123" [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -p 6379 config set requirepass "redis123" OK [root@redis-node01 ~]# 2)登錄 [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 p 7000 -a "redis123" 192.168.10.207:7000> 或者 [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 192.168.10.207:7000> auth redis123 OK 192.168.10.207:7000> 3)再次設置無密碼 [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 192.168.10.207:7000> auth redis123 OK 192.168.10.207:7000> config set masterauth "" OK 192.168.10.207:7000> config set requirepass "" OK 192.168.10.207:7000>
slave端的相關配置
slave-read-only yes #從2.6版本開始支持只讀的slave,默認是yes的
masterauth <master-password> #如果master配置了requirepass設置密碼,slave需要配置連接master的密碼
slave-serve-stale-data yes #當slave與master斷開或者復制正在進行的時候是否繼續提供服務,默認是yes繼續服務,可以配置為no返回錯誤提示“SYNC with master in progress”(除了INFO和SLAVEOF命令)
repl-ping-slave-period 10 #slave發送心跳的間隔時間,默認是10秒
master端的相關配置
repl-diskless-sync no #是否使用無盤復制 Diskless replication,默認是no
repl-diskless-sync-delay 5 #無盤復制延時開始秒數,默認是5秒,意思是當PSYNC觸發的時候,master延時多少秒開始向master傳送數據流,以便等待更多的slave連接可以同時傳送數據流,因為一旦PSYNC開始后,如果有新的slave連接master,只能等待下次PSYNC。可以配置為0取消等待,立即開始
repl-backlog-size 1mb #復制流的內存緩沖區大小,用於增量同步,當master-slave斷開的時候,master保存在復制流內存緩沖區的數據大小限制,默認是1mb。如果至少有1個slave連接的話,就會釋放
repl-backlog-ttl 3600 #復制流的內存緩沖區過時時間,默認3600秒,就是說無論保存在復制流內存緩沖區的數據大小是否超過限制,當master-slave斷開超過上述時間就會釋放
min-slaves-to-write 3 #從2.8版本開始,可以配置與master連接的slave的最少數量,默認是0沒有限制,如果配置>0,需要結合下面的選項一起使用,只有同時滿足這2個選項,master才能接收寫操作
min-slaves-max-lag 10 #允許master-slave的心跳最大間隔,默認是10秒,需要結合min-slaves-to-write選項一起使用
復制+持久化的數據完整性考慮
如果master配置了slave,那么強烈建議master啟用持久化。因為當master重啟的時候,如果沒有啟用持久化,數據會全部丟失,而且當slave重新連接master的時候,slave原有的數據也會被清空。如果真的要配置不啟用持久化,最好不要設置自動啟動master,除非數據全部丟失對你來說不重要。
======================================================================
當redis服務日志出現下面報錯:
34145] 01 Jan 17:42:02 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' 原因分析: redis在dump數據的時候,會fork出一個子進程,理論上child進程所占用的內存和parent是一樣的,比如parent占用的內存為8G,這個時候也要同樣分配8G的內存給 hild,如果內存無法負擔,往往會造成redis服務器的down機或者IO負載過高,效率下降。所以這里比較優化的內存分配策略應該設置為 1(表示內核允許分配所有的物理內存, 而不管當前的內存狀態如何)。 overcommit_memory參數說明: 設置內存分配策略(可選,根據服務器的實際情況進行設置) /proc/sys/vm/overcommit_memory 可選值:0、1、2。 0:表示內核將檢查是否有足夠的可用內存供應用進程使用;如果有足夠的可用內存,內存申請允許;否則,內存申請失敗,並把錯誤返回給應用進程。 1:表示內核允許分配所有的物理內存,而不管當前的內存狀態如何。 2:表示內核允許分配超過所有物理內存和交換空間總和的內存。 解決辦法: # echo 1 > /proc/sys/vm/overcommit_memory 或者 # vim /etc/sysctl.conf vm.overcommit_memory=1 # sysctl -p
下面是對redis.conf文件配置解釋:
1. Redis默認不是以守護進程的方式運行,可以通過該配置項修改,使用yes啟用守護進程
daemonize no
2. 當Redis以守護進程方式運行時,Redis默認會把pid寫入/var/run/redis.pid文件,可以通過pidfile指定
pidfile /var/run/redis.pid
3. 指定Redis監聽端口,默認端口為6379,作者在自己的一篇博文中解釋了為什么選用6379作為默認端口,因為6379在手機按鍵上MERZ對應的號碼,而MERZ取自意大利歌女Alessia Merz的名字
port 6379
4. 綁定的主機地址。說明只能redis-cli連接本機redis的時候只能通過這個ip連接。
bind 127.0.0.1
5.當 客戶端閑置多長時間后關閉連接,如果指定為0,表示關閉該功能
timeout 300
6. 指定日志記錄級別,Redis總共支持四個級別:debug、verbose、notice、warning,默認為verbose
loglevel verbose
7. 日志記錄方式,默認為標准輸出,如果配置Redis為守護進程方式運行,而這里又配置為日志記錄方式為標准輸出,則日志將會發送給/dev/null
logfile stdout
8. 設置數據庫的數量,默認數據庫為0,可以使用SELECT <dbid>命令在連接上指定數據庫id
databases 16
9. 指定在多長時間內,有多少次更新操作,就將數據同步到數據文件,可以多個條件配合
save <seconds> <changes>
Redis默認配置文件中提供了三個條件(打開這三行的上面一行的注釋,即 save "" 這個注釋去掉就表示關閉snapshot快照功能;):
save 900 1
save 300 10
save 60 10000
分別表示900秒(15分鍾)內有1個更改,300秒(5分鍾)內有10個更改以及60秒內有10000個更改。
10. 指定存儲至本地數據庫時是否壓縮數據,默認為yes,Redis采用LZF壓縮,如果為了節省CPU時間,可以關閉該選項,但會導致數據庫文件變的巨大
rdbcompression yes
11. 指定本地數據庫文件名,默認值為dump.rdb
dbfilename dump.rdb
12. 指定本地數據庫存放目錄
dir ./
13. 設置當本機為slav服務時,設置master服務的IP地址及端口,在Redis啟動時,它會自動從master進行數據同步
slaveof <masterip> <masterport>
14. 當master服務設置了密碼保護時,slav服務連接master的密碼. 如果要設置密碼的話,masterauth和requirepass都要設置,否則主從切換時,會有授權問題! (並且兩者密碼要設置一樣)
masterauth <master-password>
15. 設置Redis連接密碼,如果配置了連接密碼,客戶端在連接Redis時需要通過AUTH <password>命令提供密碼,默認關閉
requirepass foobared
16. 設置同一時間最大客戶端連接數,默認無限制,Redis可以同時打開的客戶端連接數為Redis進程可以打開的最大文件描述符數,如果設置 maxclients 0,表示不作限制。當客戶端連接數到達限制時,Redis會關閉新的連接並向客戶端返回max number of clients reached錯誤信息
maxclients 128
17. 指定Redis最大內存限制,Redis在啟動時會把數據加載到內存中,達到最大內存后,Redis會先嘗試清除已到期或即將到期的Key,當此方法處理 后,仍然到達最大內存設置,將無法再進行寫入操作,但仍然可以進行讀取操作。Redis新的vm機制,會把Key存放內存,Value會存放在swap區
maxmemory <bytes>
18. 指定是否在每次更新操作后進行日志記錄,Redis在默認情況下是異步的把數據寫入磁盤,如果不開啟,可能會在斷電時導致一段時間內的數據丟失。因為 redis本身同步數據文件是按上面save條件來同步的,所以有的數據會在一段時間內只存在於內存中。默認為no
appendonly no
19. 指定更新日志文件名,默認為appendonly.aof
appendfilename appendonly.aof
20. 指定更新日志條件,共有3個可選值:
appendfsync no:表示等操作系統進行數據緩存同步到磁盤。完全依賴OS的寫入,一般為30秒左右一次,性能最好但是持久化最沒有保證,不被推薦。(快)
appendfsync always:#每次收到寫命令就立即強制寫入磁盤,是最有保證的完全的持久化,但速度也是最慢的,一般不推薦使用。(慢,安全)
appendfsync everysec:表示每秒同步一次(折中,默認值),每秒鍾強制寫入磁盤一次,在性能和持久化方面做了很好的折中,這種fsync策略可以兼顧速度和安全性,是受推薦的方式。
appendfsync everysec
21. 指定是否啟用虛擬內存機制,默認值為no,簡單的介紹一下,VM機制將數據分頁存放,由Redis將訪問量較少的頁即冷數據swap到磁盤上,訪問多的頁面由磁盤自動換出到內存中(在后面的文章我會仔細分析Redis的VM機制)
vm-enabled no
22. 虛擬內存文件路徑,默認值為/tmp/redis.swap,不可多個Redis實例共享
vm-swap-file /tmp/redis.swap
23. 將所有大於vm-max-memory的數據存入虛擬內存,無論vm-max-memory設置多小,所有索引數據都是內存存儲的(Redis的索引數據 就是keys),也就是說,當vm-max-memory設置為0的時候,其實是所有value都存在於磁盤。默認值為0
vm-max-memory 0
24. Redis swap文件分成了很多的page,一個對象可以保存在多個page上面,但一個page上不能被多個對象共享,vm-page-size是要根據存儲的 數據大小來設定的,作者建議如果存儲很多小對象,page大小最好設置為32或者64bytes;如果存儲很大大對象,則可以使用更大的page,如果不 確定,就使用默認值
vm-page-size 32
25. 設置swap文件中的page數量,由於頁表(一種表示頁面空閑或使用的bitmap)是在放在內存中的,,在磁盤上每8個pages將消耗1byte的內存。
vm-pages 134217728
26. 設置訪問swap文件的線程數,最好不要超過機器的核數,如果設置為0,那么所有對swap文件的操作都是串行的,可能會造成比較長時間的延遲。默認值為4
vm-max-threads 4
27. 設置在向客戶端應答時,是否把較小的包合並為一個包發送,默認為開啟
glueoutputbuf yes
28. 指定在超過一定的數量或者最大的元素超過某一臨界值時,采用一種特殊的哈希算法
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默認為開啟(后面在介紹Redis的哈希算法時具體介紹)
activerehashing yes
30. 指定包含其它的配置文件,可以在同一主機上多個Redis實例之間使用同一份配置文件,而同時各個實例又擁有自己的特定配置文件
include /path/to/local.conf
