大約一年多前，公司同事開始使用Redis，不清楚是配置，還是版本的問題，當時的Redis經常在使用一段時間后，連接爆滿且不釋放。印象中，Redis 2.4.8以下的版本由於設計上的主從庫同步問題，就會導致整個問題，不知是否確為這個Bug所致。但從那以后，我就很少敢去嘗試使用Redis。曾想轉投MongoDB，但公司同事給我的回復是，由於MongoDB宕機，數據丟失，公司損失慘重。於是，我一直停留在Memcached使用范疇，且用的還比較一般。
相關鏈接：
Redis實戰之征服 Redis + Jedis + Spring （一）
Redis實戰之征服 Redis + Jedis + Spring （二）
Redis實戰之征服 Redis + Jedis + Spring （三）
由於前段時間使用Kestrel，同時要操作Memcached及時更新緩存，又要操作database，持久化數據。
貌似Redis既可以當Cache又可以當Queue！於是，今天開始研究Redis！
一、Redis簡要介紹
Redis —— REmote DIctionaryServer，可以直接理解為遠程字典服務，也就是基於Key-Value模式Memcached+Database Persistence。
如果真要把Redis與Memcached進行對比，參考下圖：
使用Memcached，讓我感觸頗深的是Object Size的問題，由於SQL未作優化直接映射對象，導致緩存對象大於1MB，Memcached就拋了異常。而Redis默認緩存對象512MB，最大支持1GB。至少在緩存對象時，可以有更大的伸縮空間了！
此外，是數據類型。Memcached比較簡單，而Redis可以支持更多復雜的數據類型，如HASH、SET、SortedSet等等。
PS:Memcached是在Server端實現的Sharding，Redis沒有對應的實現，據說3.0系列開始支持，不過這話貌似說了2年之久。
Redis裝起來，實在是過於簡單，讓我幾乎“無從下手”。因為連“configure”文件都不需要，你只需要做個“make”就好。
在這里下載Redis最新版，這里用Redis 2.4.16
下載&解壓：
- wget http://redis.googlecode.com/files/redis-2.4.16.tar.gz
- tar zxvf redis-2.4.16.tar.gz
wget http://redis.googlecode.com/files/redis-2.4.16.tar.gz tar zxvf redis-2.4.16.tar.gz
Redis可以解壓至任何目錄，一個make安裝即可獲得執行、配置文件。
安裝（這里將redis解壓到/opt/目錄下）：
- cd /opt/redis-2.4.16
- make
cd /opt/redis-2.4.16 make
make之后，我們會得到以下可執行文件：
- redis-server：Redis服務器的daemon啟動程序
- redis-cli：Redis命令行操作工具。或者通過telnet進行純文本協議操作
- redis-benchmark：Redis性能測試工具，測試Redis在你的系統及你的配置下的讀寫性能
上述文件位於src目錄下。
我習慣性的執行了make install，貌似我需要的可執行文件，安裝到了/usr/local/bin：
cd src && make install
make[1]: Entering directory `/opt/software/redis-2.4.16/src'
MAKE hiredis
make[2]: Entering directory `/opt/software/redis-2.4.16/deps/hiredis'
make[2]: Nothing to be done for `static'.
make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/hiredis'
MAKE linenoise
make[2]: Entering directory `/opt/software/redis-2.4.16/deps/linenoise'
make[2]: “linenoise_example”是最新的。
make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/linenoise'
MAKE hiredis
make[2]: Entering directory `/opt/software/redis-2.4.16/deps/hiredis'
make[2]: Nothing to be done for `static'.
make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/hiredis'
LINK redis-benchmark
LINK redis-cli
Hint: To run 'make test' is a good idea ;)
mkdir -p /usr/local/bin
cp -pf redis-server /usr/local/bin
cp -pf redis-benchmark /usr/local/bin
cp -pf redis-cli /usr/local/bin
cp -pf redis-check-dump /usr/local/bin
cp -pf redis-check-aof /usr/local/bin
make[1]: Leaving directory `/opt/software/redis-2.4.16/src'
這樣，就不用我拷貝文件了。 意外收獲！
此外，還會得到一個默認的配置文件——redis.conf。
最好，把它拷貝到固定的目錄下，例如：/etc/redis/目錄下！
- mkdir /etc/redis
- cp redis.conf /etc/redis
mkdir /etc/redis cp redis.conf /etc/redis
然后，我們就可以在任何路徑下，直接啟動Redis了！
三、運行
運行Redis：
- redis-server /etc/redis/redis.conf
redis-server /etc/redis/redis.conf
[1958] 13 Aug 16:18:24 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
[1958] 13 Aug 16:18:24 * The server is now ready to accept connections on port 6379
[1958] 13 Aug 16:18:24 - 0 clients connected (0 slaves), 717544 bytes in use
四、測試
通過客戶端命令redis-cli訪問Redis
redis> set name zlex
OK
redis> get name
"zlex"
進行數據測試：
- redis-benchmark -l
redis-benchmark -l
這個測試會一直進行下去，直到你Ctrl+C：
10000 requests completed in 0.12 seconds
50 parallel clients
3 bytes payload
keep alive: 1
99.31% <= 1 milliseconds
99.53% <= 2 milliseconds
99.64% <= 3 milliseconds
99.70% <= 4 milliseconds
99.74% <= 5 milliseconds
99.78% <= 6 milliseconds
99.82% <= 7 milliseconds
99.84% <= 8 milliseconds
99.86% <= 9 milliseconds
99.89% <= 10 milliseconds
99.91% <= 11 milliseconds
99.93% <= 12 milliseconds
99.96% <= 13 milliseconds
99.98% <= 14 milliseconds
100.00% <= 15 milliseconds
81300.81 requests per second
====== PING ======
10000 requests completed in 0.12 seconds
50 parallel clients
3 bytes payload
keep alive: 1
99.96% <= 1 milliseconds
100.00% <= 1 milliseconds
84033.61 requests per second
^CET (10 keys): 26200.00
五、關閉
也可通過客戶端命令redis-cli完成Redis關閉操作:
- redis-cli shutdown
redis-cli shutdown
[2639] 13 Aug 16:35:35 * Saving the final RDB snapshot before exiting.
[2639] 13 Aug 16:36:49 * DB saved on disk
[2639] 13 Aug 16:36:49 # Redis is now ready to exit, bye bye...
六、調優
1./etc/sysctl.conf
前面啟動Redis時，看到如下警告：
需要修改/etc/sysctl.conf文件：
- vim /etc/sysctl.conf
vim /etc/sysctl.conf
末尾追加vm.overcommit_memory = 1
然后執行sysctl vm.overcommit_memory=1，使之生效：
- # sysctl vm.overcommit_memory=1
- vm.overcommit_memory = 1
# sysctl vm.overcommit_memory=1 vm.overcommit_memory = 1
2./proc/sys/vm/overcommit_memory
為了調整內存分配策略，需要配置/proc/sys/vm/overcommit_memory
- 0， 表示內核將檢查是否有足夠的可用內存供應用進程使用；如果有足夠的可用內存，內存申請允許；否則，內存申請失敗，並把錯誤返回給應用進程。
- 1， 表示內核允許分配所有的物理內存，而不管當前的內存狀態如何。
- 2， 表示內核允許分配超過所有物理內存和交換空間總和的內存
默認為0，如果內存情況比較緊張的話，設為1：
- echo 1 > /proc/sys/vm/overcommit_memory
echo 1 > /proc/sys/vm/overcommit_memory
3.redis.conf
前面啟動Redis后，總是在命令行里不斷跳着各種日志，很麻煩。即便通過“&”，領其后台運行，也無濟於事。這就需要修改redis.conf，以Daemo模式運行！
redis.conf參數：
- daemonize：是否以后台daemon方式運行
- pidfile：pid文件位置
- port：監聽的端口號
- timeout：請求超時時間
- loglevel：log信息級別
- logfile：log文件位置
- databases：開啟數據庫的數量
- save * *：保存快照的頻率，第一個*表示多長時間（秒級），第三個*表示執行多少次寫操作。在一定時間內執行一定數量的寫操作時，自動保存快照。可設置多個條件。
- rdbcompression：是否使用壓縮
- dbfilename：數據快照文件名（只是文件名，不包括目錄）
- dir：數據快照的保存目錄（這個是目錄）
- appendonly：是否開啟appendonlylog，開啟的話每次寫操作會記一條log，這會提高數據抗風險能力，但影響效率。
- appendfsync：appendonlylog如何同步到磁盤（三個選項，分別是每次寫都強制調用fsync、每秒啟用一次fsync、不調用fsync等待系統自己同步）
- slaveof <masterip> <masterport> ：主從配置，在redis-slave上配置master的ip port，即可。
例如，我們可以修改為如下方式：
save 60 1000 #當時間間隔超過60秒，或存儲超過1000條記錄時，進行持久化。
maxmemory 256mb #分配256MB內存
PS：切記，一定要設定maxmemmory，且配置大小要小於物理內存，留有足夠的內存供系統使用。
公司一同學的Redis，某期間數據暴漲，導致內存吃緊，SWAP加劇，直接宕機。就是因為沒有設置maxmemmory。
七、集群配置
把雞蛋都放在一個籃子里是件危險的事情。首先，要做好主備。其次，如果可以做一致性哈希，可以起到負載均衡的作用。
配置Master-Slave，只需要在Slave上配置Master節點IP Port：
PS：為了兩個Redis Server可以互訪，需要注釋掉bind 127.0.0.1
依次啟動Master，Slave：
[7651] 17 Aug 19:08:07 * DB loaded from disk: 0 seconds
[7651] 17 Aug 19:08:07 * The server is now ready to accept connections on port 6379
[7651] 17 Aug 19:08:08 * Slave ask for synchronization
[7651] 17 Aug 19:08:08 * Starting BGSAVE for SYNC
[7651] 17 Aug 19:08:08 * Background saving started by pid 7652
[7652] 17 Aug 19:08:08 * DB saved on disk
[7651] 17 Aug 19:08:08 * Background saving terminated with success
[7651] 17 Aug 19:08:08 * Synchronization with slave succeeded
[7572] 17 Aug 19:07:39 * DB loaded from disk: 0 seconds
[7572] 17 Aug 19:07:39 * The server is now ready to accept connections on port 6379
[7572] 17 Aug 19:07:39 * Connecting to MASTER...
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync started: SYNC sent
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: receiving 10 bytes from master
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: Loading DB in memory
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: Finished with success
看到上述日志，就說明Master-Slave已經連通。
簡單測試，Master寫，Slave讀：
Trying 192.168.133.139...
Connected to 192.168.133.139.
Escape character is '^]'.
set name snowolf
+OK
Trying 192.168.133.140...
Connected to 192.168.133.140.
Escape character is '^]'.
get name
$7
snowolf
搞定！
八、主從備份
在從服務器上執行下列命令：
- #備份
- redis-cli save
- #關閉redis服務器
- redis-cli shutdown
#備份 redis-cli save #關閉redis服務器 redis-cli shutdown
然后，拷貝數據目錄下的rdb文件。
九、系統服務
習慣了通過service啟動一切服務，當然，這跟我生產環境部署有關，通常只分配給用於部署的賬戶操作service命令的權限。主要是為了確保系統安全。
參考之前寫的Memcached的系統服務文件，改造一個Redis版本！
新建文件，並賦予權限：
- touch /etc/init.d/redis-server
- chmod +x /etc/init.d/redis-server
touch /etc/init.d/redis-server chmod +x /etc/init.d/redis-server
編輯/etc/init.d/redis-server，鍵入如下內容：
- #!/bin/bash
- #
- # redis Startup script for redis processes
- #
- # author: snowolf
- #
- # processname: redis
- redis_path="/usr/local/bin/redis-server"
- redis_conf="/etc/redis/redis.conf"
- redis_pid="/var/run/redis.pid"
- # Source function library.
- . /etc/rc.d/init.d/functions
- [ -x $redis_path ] || exit 0
- RETVAL=0
- prog="redis"
- # Start daemons.
- start() {
- if [ -e $redis_pid -a ! -z $redis_pid ];then
- echo $prog" already running...."
- exit 1
- fi
- echo -n $"Starting $prog "
- # Single instance for all caches
- $redis_path $redis_conf
- RETVAL=$?
- [ $RETVAL -eq 0 ] && {
- touch /var/lock/subsys/$prog
- success $"$prog"
- }
- echo
- return $RETVAL
- }
- # Stop daemons.
- stop() {
- echo -n $"Stopping $prog "
- killproc -d 10 $redis_path
- echo
- [ $RETVAL = 0 ] && rm -f $redis_pid /var/lock/subsys/$prog
- RETVAL=$?
- return $RETVAL
- }
- # See how we were called.
- case "$1" in
- start)
- start
- ;;
- stop)
- stop
- ;;
- status)
- status $prog
- RETVAL=$?
- ;;
- restart)
- stop
- start
- ;;
- condrestart)
- if test "x`pidof redis`" != x; then
- stop
- start
- fi
- ;;
- *)
- echo $"Usage: $0 {start|stop|status|restart|condrestart}"
- exit 1
- esac
- exit $RETVAL
#!/bin/bash
#
# redis Startup script for redis processes
#
# author: snowolf
#
# processname: redis
redis_path="/usr/local/bin/redis-server"
redis_conf="/etc/redis/redis.conf"
redis_pid="/var/run/redis.pid"
# Source function library.
. /etc/rc.d/init.d/functions
[ -x $redis_path ] || exit 0
RETVAL=0
prog="redis"
# Start daemons.
start() {
if [ -e $redis_pid -a ! -z $redis_pid ];then
echo $prog" already running...."
exit 1
fi
echo -n $"Starting $prog "
# Single instance for all caches
$redis_path $redis_conf
RETVAL=$?
[ $RETVAL -eq 0 ] && {
touch /var/lock/subsys/$prog
success $"$prog"
}
echo
return $RETVAL
}
# Stop daemons.
stop() {
echo -n $"Stopping $prog "
killproc -d 10 $redis_path
echo
[ $RETVAL = 0 ] && rm -f $redis_pid /var/lock/subsys/$prog
RETVAL=$?
return $RETVAL
}
# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
status)
status $prog
RETVAL=$?
;;
restart)
stop
start
;;
condrestart)
if test "x`pidof redis`" != x; then
stop
start
fi
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart}"
exit 1
esac
exit $RETVAL
Stopping redis [失敗]
Starting redis [確定]
# service redis-server status
redis (pid 14965) 正在運行...
非常方便！
相關鏈接：
Redis實戰之征服 Redis + Jedis + Spring （一）
Redis實戰之征服 Redis + Jedis + Spring （二）
Redis實戰之征服 Redis + Jedis + Spring （三）