緩存數據庫

NoSQL(NoSQL = Not Only SQL)，意即泛指非關系型數據庫，（關系型數據庫(RMDB)mysql，sqlite，oracle，即存在強烈的數據關系），是對不同於傳統的關系型數據庫的數據庫管理系統的統稱。NoSQL用於超大規模數據的存儲。（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數據）。這些類型的數據存儲不需要固定的模式，無需多余操作就可以橫向擴展。

SNS 指社交網絡 social network society

NoSQL數據庫的四大類別

1. 鍵值（Key-Value）存儲數據

   這一類數據庫主要會使用到喲個哈希表，這個表中有一個特定的鍵和一個指針指向特定的數據。Key/values模型對於IT系統來叔的優勢在於簡單、一部書。但是如果DBA只對部分值進行查詢或更新的時候，Key/values的方法效率低

2. 列存儲數據：大數據用的多

   這部分數據庫通常是用來應對分布式存儲的海量數據。鍵仍然存在，但是它們的特點是指向了多個列。這些列是由列組來安排的

3. 文檔型數據庫

   文檔型數據庫的靈感是來自於Lotus Note辦公軟件的，而且它同第一種鍵值存儲相類似。該類型的數據模型是版本化的文檔，半結構化的文檔以特定的格式存儲。文檔型數據庫可以看成是鍵值數據庫的升級版，允許之間嵌套鍵值。而且文檔型數據庫比鍵值型數據庫的查詢效率更高

4. 圖形（Graph）數據庫

   圖形結構的數據庫同其他行列以及剛性結構的SQL數據庫不同，它是使用靈活的圖形模型，並且能夠擴展到多個服務器上。NoSQL數據庫沒有標准的查詢語言(SQL)，因此進行數據庫查詢需要制定數據模型。許多NoSQL數據庫都有REST式的數據接口或者查詢API。

總結：NoSQL數據庫在以下的這幾種情況下比較適用：1、數據模型比較簡單；2、需要靈活性更強的IT系統；3、對數據庫性能要求較高；4、不需要高度的數據一致性；5、對於給定key，比較容易映射復雜值的環境。

Redis緩存數據庫：把數據存在內存中

redis的作用就是共享內存數據，而且redis比字典強大很多

Linux操作系統有七個終端，單原則上可以開啟無限個終端，只要系統夠強。

Redis下載與安裝

1.下載壓縮文件：wget -c http://download.redis.io/releases/redis-4.0.6.tar.gz
2.解壓壓縮包：tar -zxvf redis-4.0.6.tar.gz
3.安裝到固定的文件夾中：make PREFIX=/opt/redis409 install

redis的基本使用命令

redis的啟動命令 redis-server

查看是否啟動redis命令，查看端口6379是否被redis-server使用：ps -ef |grep redis

進入客戶端操作命令：redis-cli 退出命令：shutdown

Redis API使用

redis-py 的API的使用可以分類為：

• 連接方式
• 連接池
• 操作
  • String操作
  • Hash操作
  • Set操作
  • Sort Set 操作
• 管道
• 發布訂閱

redis的操作

help + 操作命令可以查看使用方式

1.String 字符操作：

redis中的String在內存中按照一個name對應一個value來存儲。

name          value
n1   -------> v1
n2   -------> v2
n3   -------> v3

進入數據庫：redis-cli

設置name：set name eric # name為鍵 ，eric是值

獲取name值：get name

修改name值：set name jing #直接在值的位置寫要修改的值就OK了

獲取所有的鍵：keys *

set（name，value，ex=None，px=None，nx=Flase，xx=False）參數設置：

​ ex，過期時間（秒）

​ px，過期時間（毫秒）

​ nx，如果設置為True，則只有name不存在，當前set操作才執行

​ xx，如果設置為True，則只有name存在時，當前set操作才執行

setnx（name，value）：設置值，只有name不存在時，執行設置操作（添加）

setex(name, value, time)：過期時間（數字秒 或 timedelta對象）

psetex(name,time_ms,value)：

mset（*args，**kwargs）批量設置值：批量設置值

​ mset（'k1' : 'v1', 'k2' : 'v2'）或rget（{ 'k1' : 'v1' , 'k2' : 'v2' }）

get(name):獲取值

mget（keys，*args）：批量獲取值

getset（name,value）參數：沒有就設置，有就獲取（設置新值並獲取原來的值）

getrange（key,start,end）參數：執行切片操作

setrange（key,offset,value）參數：修改字符串內容，從指定字符串索引開始向后替換（新值太長時，則向后添加）

setbit（name, offset, value）：對name對應值的二進制表示的位進行操作

getbit (name，offset）：獲取name對應的值的二進制表示中的某位的值 （0或1）

bitcount(key, start=None, end=None)：# 獲取name對應的值的二進制表示中 1 的個數

strlen(name)：返回name對應值的字節長度（一個漢字3個字節）

incr(self, name, amount=1)：自增 name對應的值，當name不存在時，則創建name＝amount，否則，則自增。

incrbyfloat(self, name, amount=1.0)：自增 name對應的值，當name不存在時，則創建name＝amount，否則，則自增。（浮點型）

decr(self, name, amount=1)：# 自減 name對應的值，當name不存在時，則創建name＝amount，否則，則自減。

append(key, value)：在redis name對應的值后面追加內容

2.Hash 哈希操作

hash表現形式上有些像python中的dict，可以存儲一組相關聯性較強的數據，redis中Hash在內存中的存儲形式

name              hash
n1   -----------> k1->v1
                  k2->v2
                  k3->v3
n2   -----------> k9->v99
                  kx->vx

hset(name, key, value)：# name對應的hash中設置一個鍵值對（不存在，則創建；否則，修改）

hmset (name, mapping)：# 在name對應的hash中批量設置鍵值對

hget (name, key): # 在name對應的hash中獲取根據key獲取value

hmget(name, keys, *args)：# 在name對應的hash中獲取多個key的值

hkeys (name)：# 獲取name對應的hash中所有的key的值

hgetall(name)：#獲取name對應hash的所有鍵值

hlen(name)：# 獲取name對應的hash中鍵值對的個數

hvals(name)：# 獲取name對應的hash中所有的value的值

hexists(name, key)：# 檢查name對應的hash是否存在當前傳入的key

hdel(name,*keys)：# 將name對應的hash中指定key的鍵值對刪除

hincrby(name, key, amount=1)：# 自增name對應的hash中的指定key的值，不存在則創建key=amount

hincrbyfloat(name, key, amount=1.0)：# 自增name對應的hash中的指定key的值，不存在則創建key=amount

hscan(name, cursor=0, match=None, count=None)：增量式迭代獲取，對於數據大的數據非常有用，hscan可以實現分片的獲取數據，並非一次性將數據全部獲取完，從而放置內存被撐爆

hscan_iter(name, match=None, count=None)：# 利用yield封裝hscan創建生成器，實現分批去redis中獲取數據

3.list 列表操作

List操作，redis中的List在在內存中按照一個name對應一個List來存儲。

name        list
n1   -----> [v1,v2,...]
n2   -----> [v2,v33,...]

lpush(name,values)：# 在name對應的list中添加元素，每個新的元素都添加到列表的最左邊

lpushx(name,value)：# 在name對應的list中添加元素，只有name已經存在時，值添加到列表的最左邊

rpushx(name, value)：# 表示從右向左操作

llen(name)：# name對應的list元素的個數

linsert(name, where, refvalue, value))：# 在name對應的列表的某一個值前或后插入一個新值

r.lset(name, index, value)：# 對name對應的list中的某一個索引位置重新賦值

r.lrem(name, value, num)：# 在name對應的list中刪除指定的值

lpop(name)：# 在name對應的列表的左側獲取第一個元素並在列表中移除，返回值則是第一個元素

lindex(name, index)：在name對應的列表中根據索引獲取列表元素

lrange(name, start, end)：# 在name對應的列表分片獲取數據

ltrim(name, start, end)：# 在name對應的列表中移除沒有在start-end索引之間的值

rpoplpush(src, dst)：# 從一個列表取出最右邊的元素，同時將其添加至另一個列表的最左邊

blpop(keys, timeout)：# 將多個列表排列，按照從左到右去pop對應列表的元素

brpoplpush(src, dst, timeout=0)：# 從一個列表的右側移除一個元素並將其添加到另一個列表的左側

4.set集合操作

Set操作，Set集合就是不允許重復的列表

sadd(name,values)：# name對應的集合中添加元素

scard(name)：# 獲取name對應的集合中元素個數

sdiff(keys, *args)：# 在第一個name對應的集合中且不在其他name對應的集合的元素集合

sdiffstore(dest, keys, *args)：# 獲取第一個name對應的集合中且不在其他name對應的集合，再將其新加入到dest對應的集合中

sinter(keys, *args)：# 獲取多一個name對應集合的並集

sinterstore(dest, keys, *args)：# 獲取多一個name對應集合的並集，再講其加入到dest對應的集合中

sismember(name, value)：# 檢查value是否是name對應的集合的成員

smembers(name)：# 獲取name對應的集合的所有成員

smove(src, dst, value)：# 將某個成員從一個集合中移動到另外一個集合

spop(name)：# 從集合的右側（尾部）移除一個成員，並將其返回

srandmember(name, numbers)：# 從name對應的集合中隨機獲取 numbers 個元素

srem(name, values)：# 在name對應的集合中刪除某些值

sunion(keys, *args)：# 獲取多一個name對應的集合的並集

sunionstore(dest,keys, *args)：# 獲取多一個name對應的集合的並集，並將結果保存到dest對應的集合中

sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
# 同字符串的操作，用於增量迭代分批獲取元素，避免內存消耗太大

5.zset集合操作

有序集合，在集合的基礎上，為每元素排序；元素的排序需要根據另外一個值來進行比較，所以，對於有序集合，每一個元素有兩個值，即：值和分數，分數專門用來做排序。

zadd(name, *args, **kwargs)：# 在name對應的有序集合中添加元素

zcard(name)：# 獲取name對應的有序集合元素的數量

zcount(name, min, max)：# 獲取name對應的有序集合中分數 在 [min,max] 之間的個數

zincrby(name, value, amount)：# 自增name對應的有序集合的 name 對應的分數

r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)：# 按照索引范圍獲取name對應的有序集合的元素

zrank(name, value)：# 獲取某個值在 name對應的有序集合中的排行（從 0 開始）

zrem(name, values)：# 刪除name對應的有序集合中值是values的成員

zremrangebyrank(name, min, max)：# 根據排行范圍刪除

zremrangebyscore(name, min, max)：# 根據分數范圍刪除

zscore(name, value)：# 獲取name對應有序集合中 value 對應的分數

zinterstore(dest, keys, aggregate=None)：# 獲取兩個有序集合的交集，如果遇到相同值不同分數，則按照aggregate進行操作

zunionstore(dest, keys, aggregate=None)：# 獲取兩個有序集合的並集，如果遇到相同值不同分數，則按照aggregate進行操作

zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
# 同字符串相似，相較於字符串新增score_cast_func，用來對分數進行操作

其他常用操作

delete(*names)：# 根據刪除redis中的任意數據類型

exists(name)：# 檢測redis的name是否存在

keys(pattern='*')：# 根據模型獲取redis的name

expire(name ,time)：# 為某個redis的某個name設置超時時間

rename(src, dst)：# 對redis的name重命名為

move(name, db))：# 將redis的某個值移動到指定的db下

randomkey()：# 隨機獲取一個redis的name（不刪除）

type(name)：# 獲取name對應值的類型

scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
# 同字符串操作，用於增量迭代獲取key

連接方式

1、操作模式

redis-py提供兩個類Redis和StrictRedis用於實現Redis的命令，StrictRedis用於實現大部分官方的命令，並使用官方的語法和命令，Redis是StrictRedis的子類，用於向后兼容舊版本的redis-py。

import redis
r = redis.Redis(host='10.211.55.4', port=6379)
r.set('foo', 'Bar')
print r.get('foo')

2、連接池

redis-py使用connection pool來管理對一個redis server的所有連接，避免每次建立、釋放連接的開銷。默認，每個Redis實例都會維護一個自己的連接池。可以直接建立一個連接池，然后作為參數Redis，這樣就可以實現多個Redis實例共享一個連接池。

發布訂閱

頻道創建（訂閱）：publish（name，value）

訂閱（創建）消息發布：subscribe

頻道：channel 自定義頻道的名字 創建頻道：publish channel

支持正則頻道：psubscribe *zhibo

數據持久化

為了防止redis數據丟失，進行數據持久化，把數據寫入到一個文件中

RDB持久化

1. 基於內存的數據快照
2. 定期執行數據快照
3. 手動觸發數據快照