python操作redis

redis是一個key-value存儲系統。和Memcached類似，它支持存儲的value類型相對更多，包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash（哈希類型）。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文件，並且在此基礎上實現了master-slave(主從)同步。

一、redis安裝和使用

　　~~~

二、python操作redis

安裝api：

# pip install python-memcached

基本使用：

redis-py 的API的使用可以分類為：

• 連接方式
• 連接池
• 操作
  • String 操作
  • Hash 操作
  • List 操作
  • Set 操作
  • Sort Set 操作
• 管道
• 發布訂閱

 

1、操作模式

redis-py提供兩個類Redis和StrictRedis用於實現Redis的命令，StrictRedis用於實現大部分官方的命令，並使用官方的語法和命令，Redis是StrictRedis的子類，用於向后兼容舊版本的redis-py。

#!/usr/bin/env python
# coding=utf-8

import redis

r = redis.Redis(host='127.0.0.1', port=6379)
r.set('foo', 'bar')
print(r.get('foo'))

2、連接池

redis-py使用connection pool來管理對一個redis server的所有連接，避免每次建立、釋放連接的開銷。默認，每個Redis實例都會維護一個自己的連接池。可以直接建立一個連接池，然后作為參數Redis，這樣就可以實現多個Redis實例共享一個連接池。

#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
r.set('foo', 'bar')
print(r.get('foo'))

3、操作

String操作，redis中的String在在內存中按照一個name對應一個value來存儲。

set(name, value, ex=None, px=None, nx=False, xx=False)
在Redis中設置值，默認，不存在則創建，存在則修改

　　參數：

      ex，過期時間（秒），超過這個時間，name值就變為None

      px，過期時間（毫秒），超過這個時間，name值就變為None

      nx，如果設置為True，只有name不存在時，當前set操作才執行

      xx，如果設置為True，只有name存在時，當前set操作才執行

setnx(name, value) # 當name不存在才set

#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
print(r.get('hexm'))
r.setnx('hexm', 20)
print(r.get('hexm'))
# 輸出：
# b'22' 
# b'22'

setex(name, value, time) 設置過期時間

#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
print(r.get('hexm'))
r.setex('hexm', 20, time=1)
print(r.get('hexm'))

　psetex(name, time_ms, value) # 設置過期時間微妙

#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
print(r.get('hexm'))
r.psetex('hexm', 100, 29)
print(r.get('hexm'))

mset(*args, **kwargs) mget(keys, *args) #!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
r.mset(k1='v1', k2='v2')
r.mset({'k3': 'v3', 'k4': 'v4'})
print(r.mget(['k1', 'k2', 'k3', 'k4']))

getset(name, value)#設置新值並獲取原來的值

#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
ret = r.getset('k1', 'hexm')
print(ret)
print(r.get('k1'))

　　# 結果　

　  # b'v1'
　　# b'hexm'

getrange(key, start, end) # 獲取子序列（根據字節獲取，非字符） 

#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
print(r.get('k1'))
ret = r.getrange('k1', 0, 1)
print(ret)

　#　b'hexm'
　#　b'he'

setrange(name, offset, value) # 修改字符串內容，從指定字符串索引開始向后替換（新值太長時，則向后添加）

#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
print(r.get('k1'))
r.setrange('k1', 0, 'mv')
print(r.get('k1'))

# b'hexm'
# b'mvxm'

setbit(name, offset, value) # 對name對應值的二進制表示的位進行操作
# 參數：
    # name，redis的name
    # offset，位的索引（將值變換成二進制后再進行索引）
    # value，值只能是 1 或 0
# 注：如果在Redis中有一個對應： n1 = "foo"，
        那么字符串foo的二進制表示為：01100110 01101111 01101111
    所以，如果執行 setbit('n1', 7, 1)，則就會將第7位設置為1，
        那么最終二進制則變成 01100111 01101111 01101111，即："goo"

getbit(name, offset) # 獲取name對應的值的二進制表示中的某位的值 （0或1）

bitcount(key, start=None, end=None) # 獲取name對應的值的二進制表示中 1 的個數

bitop(operation, dest, *keys) # 獲取多個值，並將值做位運算，將最后的結果保存至新的name對應的值
# 參數：
    # operation,AND（並） 、 OR（或） 、 NOT（非） 、 XOR（異或）
    # dest, 新的Redis的name
    # *keys,要查找的Redis的name
# 如：
    bitop("AND", 'new_name', 'n1', 'n2', 'n3')
    # 獲取Redis中n1,n2,n3對應的值，然后講所有的值做位運算（求並集），然后將結果保存 new_name 對應的值中

strlen(name) # 返回name對應值的字節長度（一個漢字3個字節）

incr(self, name, amount=1) 
# 自增 name對應的值，當name不存在時，則創建name＝amount，否則，則自增。
 
# 參數：
    # name,Redis的name
    # amount,自增數（必須是整數）
 
# 注：同incrby

incrbyfloat(self, name, amount=1.0)
# 自增 name對應的值，當name不存在時，則創建name＝amount，否則，則自增。
 
# 參數：
    # name,Redis的name
    # amount,自增數（浮點型）

decr(self, name, amount=1)
# 自減 name對應的值，當name不存在時，則創建name＝amount，否則，則自減。
 
# 參數：
    # name,Redis的name
    # amount,自減數（整數）

append(key, value)
# 在redis name對應的值后面追加內容
 
# 參數：
    key, redis的name
    value, 要追加的字符串

hash操作 

hset(name, key, value) # name對應的hash中設置一個鍵值對（不存在，則創建；否則，修改）
hget(name,key) # 在name對應的hash中獲取根據key獲取value

#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
r.hset('k', 'hexm', 15)
print(r.hget('k', 'hexm'))

# b'15'

hmset(name, mapping) # 在name對應的hash中批量設置鍵值對 hmget(name, keys, *args) # 在name對應的hash中獲取多個key的值

#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
r.hmset('k', {'k1':'v1', 'k2':'v2'})
print(r.hmget('k', ['k1', 'k2']))
rint(r.hmget('k', 'k1', 'k2'))

hgetall(name)  #獲取name對應hash的所有鍵值

hlen(name) # 獲取name對應的hash中鍵值對的個數

hkeys(name) # 獲取name對應的hash中所有的key的值

hvals(name) # 獲取name對應的hash中所有的value的值

hexists(name, key) # 檢查name對應的hash是否存在當前傳入的key

hdel(name,*keys) # 將name對應的hash中指定key的鍵值對刪除

hincrby(name, key, amount=1)

# 自增name對應的hash中的指定key的值，不存在則創建key=amount
# 參數：
    # name，redis中的name
    # key， hash對應的key
    # amount，自增數（整數）

hincrbyfloat(name, key, amount=1.0)
# 自增name對應的hash中的指定key的值，不存在則創建key=amount
 
# 參數：
    # name，redis中的name
    # key， hash對應的key
    # amount，自增數（浮點數）
 
# 自增name對應的hash中的指定key的值，不存在則創建key=amount

hscan(name, cursor=0, match=None, count=None)

# 增量式迭代獲取，對於數據大的數據非常有用，hscan可以實現分片的獲取數據，並非一次性將數據全部獲取完，從而放置內存被撐爆
 
# 參數：
    # name，redis的name
    # cursor，游標（基於游標分批取獲取數據）
    # match，匹配指定key，默認None 表示所有的key
    # count，每次分片最少獲取個數，默認None表示采用Redis的默認分片個數
 
# 如：
    # 第一次：cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
    # 第二次：cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
    # ...
    # 直到返回值cursor的值為0時，表示數據已經通過分片獲取完畢

hscan_iter(name, match=None, count=None)

# 利用yield封裝hscan創建生成器，實現分批去redis中獲取數據
 
# 參數：
    # match，匹配指定key，默認None 表示所有的key
    # count，每次分片最少獲取個數，默認None表示采用Redis的默認分片個數
 
# 如：
    # for item in r.hscan_iter('xx'):
    #     print item

 List操作

lpush(name,values) #在name對應的list中添加元素，每個新的元素都添加到列表的最左邊
rpush(name, values)  #表示從右向左操作
#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)
r.lpush('li', 11, 22, 33)

lpushx(name,value) # 在name對應的list中添加元素，只有name已經存在時，值添加到列表的最左邊
rpushx(name, value)  # 表示從右向左操作 

llen(name) # name對應的list元素的個數

linsert(name, where, refvalue, value))

# 在name對應的列表的某一個值前或后插入一個新值
 
# 參數：
    # name，redis的name
    # where，BEFORE或AFTER
    # refvalue，標桿值，即：在它前后插入數據
    # value，要插入的數據

r.lset(name, index, value)

# 對name對應的list中的某一個索引位置重新賦值
 
# 參數：
    # name，redis的name
    # index，list的索引位置
    # value，要設置的值

r.lrem(name, value, num)

# 在name對應的list中刪除指定的值
 
# 參數：
    # name，redis的name
    # value，要刪除的值
    # num=0，刪除列表中所有的指定值；
           # num=2,從前到后，刪除2個；
           # num=-2,從后向前，刪除2個

lpop(name)

# 在name對應的列表的左側獲取第一個元素並在列表中移除，返回值則是第一個元素
 
# 更多：
    # rpop(name) 表示從右向左操作

lindex(name, index)

在name對應的列表中根據索引獲取列表元素

lrange(name, start, end)
# 在name對應的列表分片獲取數據
# 參數：
    # name，redis的name
    # start，索引的起始位置
    # end，索引結束位置

ltrim(name, start, end)
# 在name對應的列表中移除沒有在start-end索引之間的值
# 參數：
    # name，redis的name
    # start，索引的起始位置
    # end，索引結束位置

rpoplpush(src, dst)

# 從一個列表取出最右邊的元素，同時將其添加至另一個列表的最左邊
# 參數：
    # src，要取數據的列表的name
    # dst，要添加數據的列表的name

blpop(keys, timeout)

# 將多個列表排列，按照從左到右去pop對應列表的元素
 
# 參數：
    # keys，redis的name的集合
    # timeout，超時時間，當元素所有列表的元素獲取完之后，阻塞等待列表內有數據的時間（秒）, 0 表示永遠阻塞
 
# 更多：
    # r.brpop(keys, timeout)，從右向左獲取數據

brpoplpush(src, dst, timeout=0)

# 從一個列表的右側移除一個元素並將其添加到另一個列表的左側
 
# 參數：
    # src，取出並要移除元素的列表對應的name
    # dst，要插入元素的列表對應的name
    # timeout，當src對應的列表中沒有數據時，阻塞等待其有數據的超時時間（秒），0 表示永遠阻塞

# 由於redis類庫中沒有提供對列表元素的增量迭代，如果想要循環name對應的列表的所有元素，那么就需要：
    # 1、獲取name對應的所有列表
    # 2、循環列表
# 但是，如果列表非常大，那么就有可能在第一步時就將程序的內容撐爆，所有有必要自定義一個增量迭代的功能：
#!/usr/bin/env python
# coding=utf-8

import redis

pool = redis.ConnectionPool(host='127.0.0.1', port=6379)

r = redis.Redis(connection_pool=pool)

def list_iter(name):
    list_count = r.llen(name)
    for index in range(list_count):
        yield r.lindex(name, index)

for item in list_iter('li'):
    print(item)

 Set操作，Set集合就是不允許重復的列表

sadd(name,values) # name對應的集合中添加元素
scard(name) # 獲取name對應的集合中元素個數
sdiff(keys, *args) # 在第一個name對應的集合中且不在其他name對應的集合的元素集合
sdiffstore(dest, keys, *args) # 獲取第一個name對應的集合中且不在其他name對應的集合，再將其新加入到dest對應的集合中
sinter(keys, *args) # 獲取多一個name對應集合的並集
sinterstore(dest, keys, *args) # 獲取多一個name對應集合的並集，再講其加入到dest對應的集合中
sismember(name, value) # 檢查value是否是name對應的集合的成員
smembers(name) # 獲取name對應的集合的所有成員
smove(src, dst, value) # 將某個成員從一個集合中移動到另外一個集合
spop(name) # 從集合的右側（尾部）移除一個成員，並將其返回
srandmember(name, numbers) # 從name對應的集合中隨機獲取 numbers 個元素
srem(name, values) # 在name對應的集合中刪除某些值
sunion(keys, *args) # 獲取多一個name對應的集合的並集
sunionstore(dest,keys, *args) # 獲取多一個name對應的集合的並集，並將結果保存到dest對應的集合中
sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
# 同字符串的操作，用於增量迭代分批獲取元素，避免內存消耗太大

有序集合，在集合的基礎上，為每元素排序；元素的排序需要根據另外一個值來進行比較，所以，對於有序集合，每一個元素有兩個值，即：值和分數，分數專門用來做排序。

zadd(name, *args, **kwargs)
# 在name對應的有序集合中添加元素
# 如：
     # zadd('zz', 'n1', 1, 'n2', 2)
     # 或
     # zadd('zz', n1=11, n2=22)

zcard(name)
# 獲取name對應的有序集合元素的數量

zcount(name, min, max)
# 獲取name對應的有序集合中分數 在 [min,max] 之間的個數

zincrby(name, value, amount)
# 自增name對應的有序集合的 name 對應的分數

r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)
# 按照索引范圍獲取name對應的有序集合的元素
# 參數：
    # name，redis的name
    # start，有序集合索引起始位置（非分數）
    # end，有序集合索引結束位置（非分數）
    # desc，排序規則，默認按照分數從小到大排序
    # withscores，是否獲取元素的分數，默認只獲取元素的值
    # score_cast_func，對分數進行數據轉換的函數 
# 更多：
    # 從大到小排序
    # zrevrange(name, start, end, withscores=False, score_cast_func=float)
 
    # 按照分數范圍獲取name對應的有序集合的元素
    # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
    # 從大到小排序
    # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)

zrank(name, value)
# 獲取某個值在 name對應的有序集合中的排行（從 0 開始）
# 更多：
    # zrevrank(name, value)，從大到小排序

zrangebylex(name, min, max, start=None, num=None)
# 當有序集合的所有成員都具有相同的分值時，有序集合的元素會根據成員的 值 （lexicographical ordering）來進行排序，而這個命令則可以返回給定的有序集合鍵 key 中， 元素的值介於 min 和 max 之間的成員
# 對集合中的每個成員進行逐個字節的對比（byte-by-byte compare）， 並按照從低到高的順序， 返回排序后的集合成員。 如果兩個字符串有一部分內容是相同的話， 那么命令會認為較長的字符串比較短的字符串要大 
# 參數：
    # name，redis的name
    # min，左區間（值）。 + 表示正無限； - 表示負無限； ( 表示開區間； [ 則表示閉區間
    # min，右區間（值）
    # start，對結果進行分片處理，索引位置
    # num，對結果進行分片處理，索引后面的num個元素
# 如：
    # ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga
    # r.zrangebylex('myzset', "-", "[ca") 結果為：['aa', 'ba', 'ca']
# 更多：
    # 從大到小排序
    # zrevrangebylex(name, max, min, start=None, num=None)

zrem(name, values)
# 刪除name對應的有序集合中值是values的成員
# 如：zrem('zz', ['s1', 's2'])

zremrangebyrank(name, min, max)
# 根據排行范圍刪除

zremrangebyscore(name, min, max)
# 根據分數范圍刪除

zremrangebylex(name, min, max)
# 根據值返回刪除

zscore(name, value)
# 獲取name對應有序集合中 value 對應的分數

zinterstore(dest, keys, aggregate=None)
# 獲取兩個有序集合的交集，如果遇到相同值不同分數，則按照aggregate進行操作
# aggregate的值為:  SUM  MIN  MAX

zunionstore(dest, keys, aggregate=None)
# 獲取兩個有序集合的並集，如果遇到相同值不同分數，則按照aggregate進行操作
# aggregate的值為:  SUM  MIN  MAX

zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
# 同字符串相似，相較於字符串新增score_cast_func，用來對分數進行操作

 其他常用操作

delete(*names)
# 根據刪除redis中的任意數據類型

exists(name)
# 檢測redis的name是否存在

keys(pattern='*')
# 根據模型獲取redis的name
# 更多：
    # KEYS * 匹配數據庫中所有 key 。
    # KEYS h?llo 匹配 hello ， hallo 和 hxllo 等。
    # KEYS h*llo 匹配 hllo 和 heeeeello 等。
    # KEYS h[ae]llo 匹配 hello 和 hallo ，但不匹配 hillo

expire(name ,time)
# 為某個redis的某個name設置超時時間

rename(src, dst)
# 對redis的name重命名為

move(name, db))
# 將redis的某個值移動到指定的db下

randomkey()
# 隨機獲取一個redis的name（不刪除）

type(name)
# 獲取name對應值的類型

scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
# 同字符串操作，用於增量迭代獲取key

管道

redis-py默認在執行每次請求都會創建（連接池申請連接）和斷開（歸還連接池）一次連接操作，如果想要在一次請求中指定多個命令，則可以使用pipline實現一次請求指定多個命令，並且默認情況下一次pipline 是原子性操作。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='10.211.55.4', port=6379)
 
r = redis.Redis(connection_pool=pool)
 
# pipe = r.pipeline(transaction=False)
pipe = r.pipeline(transaction=True)
 
pipe.set('name', 'alex')
pipe.set('role', 'sb')
 
pipe.execute()

發布訂閱

#!/usr/bin/env python
# coding=utf-8

import redis

class RedisHelper(object):

    def __init__(self):
        self.__conn = redis.Redis(host='127.0.0.1')
        self.chan_sub = 'fm111'
        self.chan_pub = 'fm111'

    def public(self, msg):
        self.__conn.publish(self.chan_pub, msg)
        return True

    def subscribe(self):
        pub = self.__conn.pubsub()
        pub.subscribe(self.chan_sub)
        pub.parse_response()
        return pub

#!/usr/bin/env python
# coding=utf-8

from redis_ps import RedisHelper

obj = RedisHelper()
obj.public('hello')

#!/usr/bin/env python
# coding=utf-8

from redis_ps import RedisHelper

obj = RedisHelper()
redis_sub = obj.subscribe()

while True:
    msg = redis_sub.parse_response()
    print(msg)