Redis
redis是一個key-value存儲系統。和Memcached類似，它支持存儲的value類型相對更多，包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash（哈希類型）。這些數據類型都 支持push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支持各種不同方式的排 序。與memcached一樣，為了保證效率，數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文 件，並且在此基礎上實現了master-slave(主從)同步。
一、Redis安裝和基本使用
wget http://download.redis.io/releases/redis-3.0.6.tar.gz tar xzf redis-3.0.6.tar.gz cd redis-3.0.6 make
啟動服務端
src/redis-server
啟動客戶端
src/redis-cli redis> set foo bar OK redis> get foo "bar"
二、Python操作Redis
sudo pip install redis or sudo easy_install redis or 源碼安裝 詳見：https://github.com/WoLpH/redis-py
API使用
redis-py 的API的使用可以分類為：
- 連接方式
- 連接池
- 操作
- String 操作
- Hash 操作
- List 操作
- Set 操作
- Sort Set 操作
- 管道
- 發布訂閱
1、操作模式
redis-py提供兩個類Redis和StrictRedis用於實現Redis的命令，StrictRedis用於實現大部分官方的命令，並使用官方的語法和命令，Redis是StrictRedis的子類，用於向后兼容舊版本的redis-py。
#!/usr/bin/env python # -*- coding:utf-8 -*- import redis r = redis.Redis(host='192.168.1.113', port=6379) r.set('foo', 'Bar') print r.get('foo')
2、連接池
redis-py使用connection pool來管理對一個redis server的所有連接，避免每次建立、釋放連接的開銷。默認，每個Redis實例都會維護一個自己的連接池。可以直接建立一個連接池，然后作為參數 Redis，這樣就可以實現多個Redis實例共享一個連接池。
#!/usr/bin/env python # -*- coding:utf-8 -*- import redis pool = redis.ConnectionPool(host='192.168.1.113', port=6379) r = redis.Redis(connection_pool=pool) r.set('foo', 'Bar') print r.get('foo')
3、操作
String操作，redis中的String在在內存中按照一個name對應一個value來存儲。如圖：
set(name, value, ex=None, px=None, nx=False, xx=False)
在Redis中設置值，默認，不存在則創建，存在則修改 參數： ex，過期時間（秒） px，過期時間（毫秒） nx，如果設置為True，則只有name不存在時，當前set操作才執行 xx，如果設置為True，則只有name存在時，崗前set操作才執行 r.get("name") # 獲取字段 b'haha' r.set("name", "hehe", ex=5) # 保留時長 5秒 r.get("name") b'hehe' r.get("name")
r.set({'k1': 'v1', 'k2': 'v2'}) # 支持字典格式
r.get("k1")
b'v1'
mset(*args, **kwargs)
# 批量設置 r.mset(name="xixi", age=18) r.get("name") b'xixi' r.get("age") b'18'
mget(keys, *args)
# 批量獲取 r.mset(name="xixi", age=18) r.mget("name", "age") [b'xixi', b'18'] r.set("name", "koka")
getset(name, value)
# 設置新值並獲取原來的值 r.getset("name", "akok") b'koka' r.get("name") b'akok'
getrange(key, start, end)
# 獲取子序列（根據字節獲取，非字符） # 參數： # name，Redis 的 name # start，起始位置（字節） # end，結束位置（字節） # 如： "武沛齊" ，0-2表示 "武"
r.set("parter", "柴少") r.getrange("parter", 0, 2).decode() '柴'
setrange(name, offset, value)
# 修改字符串內容，從指定字符串索引開始向后替換（新值太長時，則向后添加） # 參數： # offset，字符串的索引，字節（一個漢字三個字節） # value，要設置的值 r.set("name", 'ok') # 修改字符串內容，從指定字符串索引開始向后替換 r.setrange("name", 0, "ko") r.get("name") b'ko'
setbit(name, offset, value)
# 對name對應值的二進制表示的位進行操作 # 參數： # name，redis的name # offset，位的索引（將值變換成二進制后再進行索引） # value，值只能是 1 或 0 ord('k') # 107 ord('o') # 111 # 107 => 0 1 1 0 1 0 1 1 # 111 => 0 1 1 0 1 1 1 1 r.setbit("name", 7, 0) # 0 1 1 0 1 0 1 1 => 0 1 1 0 1 0 1 0 106 => j r.get("name") b'jo' r.setbit("name", 15, 0) # 0 1 1 0 1 1 1 1 => 0 1 1 0 1 1 1 0 110 => n r.get("name") b'jn'
getbit(name, offset)
# 獲取name對應的值的二進制表示中的某位的值 （0或1） bin(ord('j')).replace('b', '') '01101010' bin(ord('n')).replace('b', '') '01101110' r.set("name", "jn") r.getbit("name", "2") 1
bitcount(key, start=None, end=None)
# 獲取name對應的值的二進制表示中 1 的個數 # 參數： # key，Redis的name # start，位起始位置 # end，位結束位置 r.bitcount("name", 0, 1) 9 str(bin(ord('j')) + bin(ord('n'))).replace('b', '').count("1") 9
incr(self, name, amount=1)
# 自增 name對應的值，當name不存在時，則創建name＝amount，否則，則自增。 # 參數： # name,Redis的name # amount,自增數（必須是整數） # 注：同incrby r.set('n', 1) r.incr("n", '3') 4
incrbyfloat(self, name, amount=1.0)
# 自增 name對應的值，當name不存在時，則創建name＝amount，否則，則自增。 # 參數： # name,Redis的name # amount,自增數（浮點型) r.incrbyfloat('n', 1) 3.0
decr(self, name, amount=1)
# 自減 name對應的值，當name不存在時，則創建name＝amount，否則，則自減。 # 參數： # name,Redis的name # amount,自減數（整數） r.set('n', '2') r.decr('n', 1) 1
append(key, value)
# 在redis name對應的值后面追加內容 # 參數： key, redis的name value, 要追加的字符串 r.append('n', 'a') 2 r.get("n") b'1a'
Hash操作，redis中Hash在內存中的存儲格式如下圖：
hset(name, key, value)
# name對應的hash中設置一個鍵值對（不存在，則創建；否則，修改） # 參數： # name，redis的name # key，name對應的hash中的key # value，name對應的hash中的value # 注： # hsetnx(name, key, value),當name對應的hash中不存在當前key時則創建（相當於添加） r.hset("h1", "name", "koka") 1 r.hget("h1", "name") b'koka'
hmset(name, mapping)
# 在name對應的hash中批量設置鍵值對 # 參數： # name，redis的name # mapping，字典，如：{'k1':'v1', 'k2': 'v2'} # 如： # r.hmset('xx', {'k1':'v1', 'k2': 'v2'}) r.hmset('n1', {'k1': 'v1', 'k2': 'v2'}) r.hmget("n1", "k1", "k2") [b'v1', b'v2']
hgetall(name)
# 獲取name對應hash的所有鍵值 r.hgetall("n1") {b'k2': b'v2', b'k1': b'v1'}
hlen(name)
# 獲取name對應的hash中鍵值對的個數 r.hlen("n1") 2
hkeys(name)
# 獲取name對應的hash中所有的key的值 r.hkeys("n1") [b'k2', b'k1']
hvals(name)
# 獲取name對應的hash中所有的value的值 r.hvals("n1") [b'v2', b'v1']
hexists(name, key)
# 檢查name對應的hash是否存在當前傳入的key r.hexists("n1", "k1")
hdel(name,*keys)
# 將name對應的hash中指定key的鍵值對刪除 r.hdel("n1", "k1") 1
hincrby(name, key, amount=1)
# 自增name對應的hash中的指定key的值，不存在則創建key=amount # 參數： # name，redis中的name # key， hash對應的key # amount，自增數（整數） r.hincrby("n1", "k1", 1) 1
hincrbyfloat(name, key, amount=1.0)
# 自增name對應的hash中的指定key的值，不存在則創建key=amount # 參數： # name，redis中的name # key， hash對應的key # amount，自增數（浮點數） # 自增name對應的hash中的指定key的值，不存在則創建key=amount r.hincrbyfloat("n1", "k1", 1) 2.0
hscan(name, cursor=0, match=None, count=None)
# 增量式迭代獲取，對於數據大的數據非常有用，hscan可以實現分片的獲取數據，並非一次性將數據全部獲取完，從而放置內存被撐爆 # 參數： # name，redis的name # cursor，游標（基於游標分批取獲取數據） # match，匹配指定key，默認None 表示所有的key # count，每次分片最少獲取個數，默認None表示采用Redis的默認分片個數 # 如： # 第一次：cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None) # 第二次：cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None) # ... # 直到返回值cursor的值為0時，表示數據已經通過分片獲取完畢 r.hscan("n1") (0, {b'k2': b'v2', b'k1': b'3'})
hscan_iter(name, match=None, count=None)
# 利用yield封裝hscan創建生成器，實現分批去redis中獲取數據 # 參數： # match，匹配指定key，默認None 表示所有的key # count，每次分片最少獲取個數，默認None表示采用Redis的默認分片個數 for i in r.hscan_iter("n1", match=None, count=None):print(i) (b'k2', b'v2') (b'k1', b'3')
List操作，redis中的List在在內存中按照一個name對應一個List來存儲。如圖：
lpush(name,values)
# 在name對應的list中添加元素，每個新的元素都添加到列表的最左邊 # 如： # r.lpush('oo', 11,22,33) # 保存順序為: 33,22,11 # 擴展： # rpush(name, values) 表示從右向左操作 r.lpush("l1", [11, 22, 33, 44])
1 r.lpush("l1", [11, 22, 33, 44]) 2
r.lrange("l1", '0', '3') [b'[11, 22, 33, 44]', b'[11, 22, 33, 44]']
r.lpush("l3", "AA", "BB", "CC", "DD") 1
r.lrange("l3",0,2) [b'CC', b'BB', b'AA']
lpushx(name,value)
# 在name對應的list中添加元素，只有name已經存在時，值添加到列表的最左邊 # 更多： # rpushx(name, value) 表示從右向左操作 r.lpushx("l2", "33") 0 r.lrange("l2",0,1) []
llen(name)
# name對應的list元素的個數 r.llen("l1") 2
linsert(name, where, refvalue, value))
# 在name對應的列表的某一個值前或后插入一個新值 # 參數： # name，redis的name # where，BEFORE或AFTER # refvalue，標桿值，即：在它前后插入數據 # value，要插入的數據 r.lpush("l3", "AA", "BB", "CC", "DD") r.lrange("l3", 0, 2) [b'CC', b'BB', b'AA'] r.linsert("l3", "AFTER", "CC", "cc") r.lrange("l3", 0, 3) [b'CC', b'cc', b'BB', b'AA']
r.lset(name, index, value)
# 對name對應的list中的某一個索引位置重新賦值 # 參數： # name，redis的name # index，list的索引位置 # value，要設置的值 r.lset("l3", '2', 'Cc') r.lrange("l3", '0', '5') [b'DD', b'CC', b'Cc', b'BB', b'AA']
r.lrem(name, value, num)
# 在name對應的list中刪除指定的值 # 參數： # name，redis的name # value，要刪除的值 # num， num=0，刪除列表中所有的指定值； # num=2,從前到后，刪除2個； # num=-2,從后向前，刪除2個 r.lrem("l3", 'Cc') 1 r.lrange("l3", '0', '4') [b'DD', b'CC', b'BB', b'AA']
lpop(name)
# 在name對應的列表的左側獲取第一個元素並在列表中移除，返回值則是第一個元素 # 更多： # rpop(name) 表示從右向左操作 r.lpop("l3") b'DD' r.lrange("l3", '0', '2') [b'CC', b'BB', b'AA']
ltrim(name, start, end)
# 在name對應的列表中移除沒有在start-end索引之間的值 # 參數： # name，redis的name # start，索引的起始位置 # end，索引結束位置 r.ltrim("l3", "0", "1") True r.lrange("l3", '0', '3') [b'CC', b'BB']
rpoplpush(src, dst)
# 從一個列表取出最右邊的元素，同時將其添加至另一個列表的最左邊 # 參數： # src，要取數據的列表的name # dst，要添加數據的列表的name r.lpush("l4", '11', '22', '33') r.lpush("l5", '44', '55', '66') r.rpoplpush("l4", "l5") b'11' r.lrange("l4", '0', '3') [b'33', b'22'] r.lrange("l5", '0', '3') [b'11', b'66', b'55', b'44']
blpop(keys, timeout)
# 將多個列表排列，按照從左到右去pop對應列表的元素 # 參數： # keys，redis的name的集合 # timeout，超時時間，當元素所有列表的元素獲取完之后，阻塞等待列表內有數據的時間（秒）, 0 表示永遠阻塞 # 更多： # r.brpop(keys, timeout)，從右向左獲取數據 r.blpop("l5", timeout=1) (b'l5', b'11') r.lrange("l5",0,3) [b'66', b'55', b'44']
lindex(name, index)
#在name對應的列表中根據索引獲取列表元素 >>> r.lrange("l3",0,3) [b'CC', b'cc', b'BB', b'AA'] >>> r.lindex("l3","0") b'CC'
自定義增量迭代
# 由於redis類庫中沒有提供對列表元素的增量迭代，如果想要循環name對應的列表的所有元素，那么就需要： # 1、獲取name對應的所有列表 # 2、循環列表 # 但是，如果列表非常大，那么就有可能在第一步時就將程序的內容撐爆，所有有必要自定義一個增量迭代的功能： def list_iter(name): """ 自定義redis列表增量迭代 :param name: redis中的name，即：迭代name對應的列表 :return: yield 返回 列表元素 """ list_count = r.llen(name) for index in range(list_count): yield r.lindex(name, index) # 使用 for item in list_iter('l3'): print(item)
Set操作，Set集合就是不允許重復的列表
sadd(name,values)
# name對應的集合中添加元素
scard(name)
# 獲取name對應的集合中元素個數
sdiff(keys, *args)
# 在第一個name對應的集合中且不在其他name對應的集合的元素集合
sdiffstore(dest, keys, *args)
# 獲取第一個name對應的集合中且不在其他name對應的集合，再將其新加入到dest對應的集合中
sinter(keys, *args)
# 獲取多一個name對應集合的並集
sinterstore(dest, keys, *args)
# 獲取多一個name對應集合的並集，再講其加入到dest對應的集合中
sismember(name, value)
# 檢查value是否是name對應的集合的成員
smembers(name)
# 獲取name對應的集合的所有成員
smove(src, dst, value)
# 將某個成員從一個集合中移動到另外一個集合
spop(name)
# 從集合的右側（尾部）移除一個成員，並將其返回
srandmember(name, numbers)
# 從name對應的集合中隨機獲取 numbers 個元素
srem(name, values)
# 在name對應的集合中刪除某些值
sunion(keys, *args)
# 獲取多一個name對應的集合的並集
sunionstore(dest,keys, *args)
# 獲取多一個name對應的集合的並集，並將結果保存到dest對應的集合中
sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
# 同字符串的操作，用於增量迭代分批獲取元素，避免內存消耗太大
有序集合，在集合的基礎上，為每元素排序；元素的排序需要根據另外一個值來進行比較，所以，對於有序集合，每一個元素有兩個值，即：值和分數，分數專門用來做排序。
zadd(name, *args, **kwargs)
# 在name對應的有序集合中添加元素 # 如： # zadd('zz', 'n1', 1, 'n2', 2) # 或 # zadd('zz', n1=11, n2=22)
zcard(name)
# 獲取name對應的有序集合元素的數量
zcount(name, min, max)
# 獲取name對應的有序集合中分數 在 [min,max] 之間的個數
zincrby(name, value, amount)
# 自增name對應的有序集合的 name 對應的分數
r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)
# 按照索引范圍獲取name對應的有序集合的元素 # 參數： # name，redis的name # start，有序集合索引起始位置（非分數） # end，有序集合索引結束位置（非分數） # desc，排序規則，默認按照分數從小到大排序 # withscores，是否獲取元素的分數，默認只獲取元素的值 # score_cast_func，對分數進行數據轉換的函數 # 更多： # 從大到小排序 # zrevrange(name, start, end, withscores=False, score_cast_func=float) # 按照分數范圍獲取name對應的有序集合的元素 # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float) # 從大到小排序 # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)
zrank(name, value)
# 獲取某個值在 name對應的有序集合中的排行（從 0 開始） # 更多： # zrevrank(name, value)，從大到小排序
zrangebylex(name, min, max, start=None, num=None)
# 當有序集合的所有成員都具有相同的分值時，有序集合的元素會根據成員的 值 （lexicographical ordering）來進行排序，而這個命令則可以返回給定的有序集合鍵 key 中， 元素的值介於 min 和 max 之間的成員 # 對集合中的每個成員進行逐個字節的對比（byte-by-byte compare）， 並按照從低到高的順序， 返回排序后的集合成員。 如果兩個字符串有一部分內容是相同的話， 那么命令會認為較長的字符串比較短的字符串要大 # 參數： # name，redis的name # min，左區間（值）。 + 表示正無限； - 表示負無限； ( 表示開區間； [ 則表示閉區間 # min，右區間（值） # start，對結果進行分片處理，索引位置 # num，對結果進行分片處理，索引后面的num個元素 # 如： # ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga # r.zrangebylex('myzset', "-", "[ca") 結果為：['aa', 'ba', 'ca'] # 更多： # 從大到小排序 # zrevrangebylex(name, max, min, start=None, num=None)
zrem(name, values)
# 刪除name對應的有序集合中值是values的成員 # 如：zrem('zz', ['s1', 's2'])
zremrangebyrank(name, min, max)
# 根據排行范圍刪除
zremrangebyscore(name, min, max)
# 根據分數范圍刪除
zremrangebylex(name, min, max)
# 根據值返回刪除
zscore(name, value)
# 獲取name對應有序集合中 value 對應的分數
zinterstore(dest, keys, aggregate=None)
# 獲取兩個有序集合的交集，如果遇到相同值不同分數，則按照aggregate進行操作 # aggregate的值為: SUM MIN MAX
zunionstore(dest, keys, aggregate=None)
# 獲取兩個有序集合的並集，如果遇到相同值不同分數，則按照aggregate進行操作 # aggregate的值為: SUM MIN MAX
zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
# 同字符串相似，相較於字符串新增score_cast_func，用來對分數進行操作
其他常用操作
delete(*names)
# 根據刪除redis中的任意數據類型 r.set("test","123") r.get('test') b'123' r.delete("test") 1 r.get("test") None
exists(name)
# 根據刪除redis中的任意數據類型 r.set("test","123") r.get('test') b'123' r.delete("test") 1 r.exists("test") False
keys(pattern='*')
# 根據模型獲取redis的name # 更多： # KEYS * 匹配數據庫中所有 key 。 # KEYS h?llo 匹配 hello ， hallo 和 hxllo 等。 # KEYS h*llo 匹配 hllo 和 heeeeello 等。 # KEYS h[ae]llo 匹配 hello 和 hallo ，但不匹配 hillo r.keys(pattern="*") [b'l5', b'parter', b'name', b'l3', b'l4', b'foo']
expire(name ,time)
# 為某個redis的某個name設置超時時間 r.set("t","ok") r.expire("t",3) r.get("t") # 隔3秒后取值 None
rename(src, dst)
# 對redis的name重命名為 r.set('rn','123') r.rename('rn','rename') r.get('rename') b'123'
move(name, db))
# 將redis的某個值移動到指定的db下
randomkey()
# 隨機獲取一個redis的name（不刪除）
type(name)
# 獲取name對應值的類型 r.get("name") b'jn' r.type("name") b'string'
scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
# 同字符串操作，用於增量迭代獲取key
4、管道
redis-py默認在執行每次請求都會創建（連接池申請連接）和斷開（歸還連接池）一次連接操作，如果想要在一次請求中指定多個命令，則可以使用pipline實現一次請求指定多個命令，並且默認情況下一次pipline 是原子性操作。
#!/usr/bin/env python # -*- coding:utf-8 -*- import redis pool = redis.ConnectionPool(host='10.211.55.4', port=6379) r = redis.Redis(connection_pool=pool) # pipe = r.pipeline(transaction=False) pipe = r.pipeline(transaction=True) r.set('username', 'koka') r.set('passwd', '123') pipe.execute()
5、發布訂閱
發布者：服務器
訂閱者：Dashboad和數據處理
Demo如下：
#!/usr/bin/env python # -*- coding:utf-8 -*- import redis class RedisHelper: def __init__(self): self.__conn = redis.Redis(host='10.211.55.4') self.chan_sub = 'fm104.5' self.chan_pub = 'fm104.5' def public(self, msg): self.__conn.publish(self.chan_pub, msg) return True def subscribe(self): pub = self.__conn.pubsub() pub.subscribe(self.chan_sub) pub.parse_response() return pub
訂閱者：
# !/usr/bin/env python # -*- coding:utf-8 -*- from monitor.RedisHelper import RedisHelper obj = RedisHelper() redis_sub = obj.subscribe() while True: msg= redis_sub.parse_response() print(msg)
發布者：
#!/usr/bin/env python # -*- coding:utf-8 -*- from monitor.RedisHelper import RedisHelper obj = RedisHelper() obj.public('hello')
sentinel
redis中的sentinel主要用於在redis主從復制中，如果master故障，則自動將slave替換成master
#!/usr/bin/env python # -*- coding:utf-8 -*- from redis.sentinel import Sentinel # 連接哨兵服務器(主機名也可以用域名) sentinel = Sentinel([('10.211.55.20', 26379), ('10.211.55.20', 26380), ], socket_timeout=0.5) # # 獲取主服務器地址 # master = sentinel.discover_master('mymaster') # print(master) # # # # 獲取從服務器地址 # slave = sentinel.discover_slaves('mymaster') # print(slave) # # # # # 獲取主服務器進行寫入 # master = sentinel.master_for('mymaster') # master.set('foo', 'bar') # # # # 獲取從服務器進行讀取（默認是round-roubin） # slave = sentinel.slave_for('mymaster', password='redis_auth_pass') # r_ret = slave.get('foo') # print(r_ret)
更多參見：
https://github.com/andymccurdy/redis-py/
http://doc.redisfans.com/
http://www.cnblogs.com/wupeiqi/articles/5132791.html