目錄
Redis介紹
Redis是一個開源的內存數據庫，Redis提供了多種不同類型的數據結構，很多業務場景下的問題都可以很自然地映射到這些數據結構上。除此之外，通過復制、持久化和客戶端分片等特性，我們可以很方便地將Redis擴展成一個能夠包含數百GB數據、每秒處理上百萬次請求的系統。
Redis支持的數據結構
Redis支持諸如字符串（strings）、哈希（hashes）、列表（lists）、集合（sets）、帶范圍查詢的排序集合（sorted sets）、位圖（bitmaps）、hyperloglogs、帶半徑查詢和流的地理空間索引等數據結構（geospatial indexes）。
Redis應用場景
- 緩存系統，減輕主數據庫（MySQL）的壓力。
- 計數場景，比如微博、抖音中的關注數和粉絲數。
- 熱門排行榜，需要排序的場景特別適合使用ZSET。
- 利用LIST可以實現隊列的功能。
准備Redis環境
這里直接使用Docker啟動一個redis環境，方便學習使用。
docker啟動一個名為redis507的5.0.7版本的redis server示例：
docker run --name redis507 -p 6379:6379 -d redis:5.0.7
注意：此處的版本、容器名和端口號請根據自己需要設置。
啟動一個redis-cli連接上面的redis server:
docker run -it --network host --rm redis:5.0.7 redis-cli
go-redis庫
安裝
區別於另一個比較常用的Go語言redis client庫：redigo，我們這里采用https://github.com/go-redis/redis連接Redis數據庫並進行操作，因為go-redis支持連接哨兵及集群模式的Redis。
使用以下命令下載並安裝:
go get -u github.com/go-redis/redis
連接
普通連接
// 聲明一個全局的rdb變量
var rdb *redis.Client
// 初始化連接
func initClient() (err error) {
rdb = redis.NewClient(&redis.Options{
Addr: "localhost:6379",
Password: "", // no password set
DB: 0, // use default DB
})
_, err = rdb.Ping().Result()
if err != nil {
return err
}
return nil
}
V8新版本相關
最新版本的go-redis庫的相關命令都需要傳遞context.Context參數，例如：
package main
import (
"context"
"fmt"
"time"
"github.com/go-redis/redis/v8" // 注意導入的是新版本
)
var (
rdb *redis.Client
)
// 初始化連接
func initClient() (err error) {
rdb = redis.NewClient(&redis.Options{
Addr: "localhost:16379",
Password: "", // no password set
DB: 0, // use default DB
PoolSize: 100, // 連接池大小
})
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()
_, err = rdb.Ping(ctx).Result()
return err
}
func V8Example() {
ctx := context.Background()
if err := initClient(); err != nil {
return
}
err := rdb.Set(ctx, "key", "value", 0).Err()
if err != nil {
panic(err)
}
val, err := rdb.Get(ctx, "key").Result()
if err != nil {
panic(err)
}
fmt.Println("key", val)
val2, err := rdb.Get(ctx, "key2").Result()
if err == redis.Nil {
fmt.Println("key2 does not exist")
} else if err != nil {
panic(err)
} else {
fmt.Println("key2", val2)
}
// Output: key value
// key2 does not exist
}
連接Redis哨兵模式
func initClient()(err error){
rdb := redis.NewFailoverClient(&redis.FailoverOptions{
MasterName: "master",
SentinelAddrs: []string{"x.x.x.x:26379", "xx.xx.xx.xx:26379", "xxx.xxx.xxx.xxx:26379"},
})
_, err = rdb.Ping().Result()
if err != nil {
return err
}
return nil
}
連接Redis集群
func initClient()(err error){
rdb := redis.NewClusterClient(&redis.ClusterOptions{
Addrs: []string{":7000", ":7001", ":7002", ":7003", ":7004", ":7005"},
})
_, err = rdb.Ping().Result()
if err != nil {
return err
}
return nil
}
基本使用
HVals
package main
import (
"fmt"
"github.com/go-redis/redis"
"reflect"
)
var rdb *redis.Client
// 初始化連接
func initClient() (err error) {
rdb = redis.NewClient(&redis.Options{
Addr: "10.0.3.100:6379",
Password: "EfcHGSzKqg6cfzWq", // no password set
DB: 8, // use default DB
})
_, err = rdb.Ping().Result()
if err != nil {
return err
}
return nil
}
func main() {
err:=initClient()
if err != nil {
fmt.Println(err)
}
value,err2 := rdb.HVals("toutiao_web_gt100").Result()
if err2 != nil {
fmt.Println(err2)
}
fmt.Println(reflect.TypeOf(value))
fmt.Println(len(value))
for i,j:=0,len(value);i<j;i++{
fmt.Println(value[i])
}
}
set/get示例
func redisExample() {
err := rdb.Set("score", 100, 0).Err()
if err != nil {
fmt.Printf("set score failed, err:%v\n", err)
return
}
val, err := rdb.Get("score").Result()
if err != nil {
fmt.Printf("get score failed, err:%v\n", err)
return
}
fmt.Println("score", val)
val2, err := rdb.Get("name").Result()
if err == redis.Nil {
fmt.Println("name does not exist")
} else if err != nil {
fmt.Printf("get name failed, err:%v\n", err)
return
} else {
fmt.Println("name", val2)
}
}
zset示例
func redisExample2() {
zsetKey := "language_rank"
languages := []redis.Z{
redis.Z{Score: 90.0, Member: "Golang"},
redis.Z{Score: 98.0, Member: "Java"},
redis.Z{Score: 95.0, Member: "Python"},
redis.Z{Score: 97.0, Member: "JavaScript"},
redis.Z{Score: 99.0, Member: "C/C++"},
}
// ZADD
num, err := rdb.ZAdd(zsetKey, languages...).Result()
if err != nil {
fmt.Printf("zadd failed, err:%v\n", err)
return
}
fmt.Printf("zadd %d succ.\n", num)
// 把Golang的分數加10
newScore, err := rdb.ZIncrBy(zsetKey, 10.0, "Golang").Result()
if err != nil {
fmt.Printf("zincrby failed, err:%v\n", err)
return
}
fmt.Printf("Golang's score is %f now.\n", newScore)
// 取分數最高的3個
ret, err := rdb.ZRevRangeWithScores(zsetKey, 0, 2).Result()
if err != nil {
fmt.Printf("zrevrange failed, err:%v\n", err)
return
}
for _, z := range ret {
fmt.Println(z.Member, z.Score)
}
// 取95~100分的
op := redis.ZRangeBy{
Min: "95",
Max: "100",
}
ret, err = rdb.ZRangeByScoreWithScores(zsetKey, op).Result()
if err != nil {
fmt.Printf("zrangebyscore failed, err:%v\n", err)
return
}
for _, z := range ret {
fmt.Println(z.Member, z.Score)
}
}
輸出結果如下：
$ ./06redis_demo
zadd 0 succ.
Golang's score is 100.000000 now.
Golang 100
C/C++ 99
Java 98
JavaScript 97
Java 98
C/C++ 99
Golang 100
根據前綴獲取Key
vals, err := rdb.Keys(ctx, "prefix*").Result()
執行自定義命令
res, err := rdb.Do(ctx, "set", "key", "value").Result()
按通配符刪除key
當通配符匹配的key的數量不多時，可以使用Keys()得到所有的key在使用Del命令刪除。 如果key的數量非常多的時候，我們可以搭配使用Scan命令和Del命令完成刪除。
ctx := context.Background()
iter := rdb.Scan(ctx, 0, "prefix*", 0).Iterator()
for iter.Next(ctx) {
err := rdb.Del(ctx, iter.Val()).Err()
if err != nil {
panic(err)
}
}
if err := iter.Err(); err != nil {
panic(err)
}
Pipeline
Pipeline 主要是一種網絡優化。它本質上意味着客戶端緩沖一堆命令並一次性將它們發送到服務器。這些命令不能保證在事務中執行。這樣做的好處是節省了每個命令的網絡往返時間（RTT）。
Pipeline 基本示例如下：
pipe := rdb.Pipeline()
incr := pipe.Incr("pipeline_counter")
pipe.Expire("pipeline_counter", time.Hour)
_, err := pipe.Exec()
fmt.Println(incr.Val(), err)
上面的代碼相當於將以下兩個命令一次發給redis server端執行，與不使用Pipeline相比能減少一次RTT。
INCR pipeline_counter
EXPIRE pipeline_counts 3600
也可以使用Pipelined：
var incr *redis.IntCmd
_, err := rdb.Pipelined(func(pipe redis.Pipeliner) error {
incr = pipe.Incr("pipelined_counter")
pipe.Expire("pipelined_counter", time.Hour)
return nil
})
fmt.Println(incr.Val(), err)
在某些場景下，當我們有多條命令要執行時，就可以考慮使用pipeline來優化。
事務
Redis是單線程的，因此單個命令始終是原子的，但是來自不同客戶端的兩個給定命令可以依次執行，例如在它們之間交替執行。但是，Multi/exec能夠確保在multi/exec兩個語句之間的命令之間沒有其他客戶端正在執行命令。
在這種場景我們需要使用TxPipeline。TxPipeline總體上類似於上面的Pipeline，但是它內部會使用MULTI/EXEC包裹排隊的命令。例如：
pipe := rdb.TxPipeline()
incr := pipe.Incr("tx_pipeline_counter")
pipe.Expire("tx_pipeline_counter", time.Hour)
_, err := pipe.Exec()
fmt.Println(incr.Val(), err)
上面代碼相當於在一個RTT下執行了下面的redis命令：
MULTI
INCR pipeline_counter
EXPIRE pipeline_counts 3600
EXEC
還有一個與上文類似的TxPipelined方法，使用方法如下：
var incr *redis.IntCmd
_, err := rdb.TxPipelined(func(pipe redis.Pipeliner) error {
incr = pipe.Incr("tx_pipelined_counter")
pipe.Expire("tx_pipelined_counter", time.Hour)
return nil
})
fmt.Println(incr.Val(), err)
Watch
在某些場景下，我們除了要使用MULTI/EXEC命令外，還需要配合使用WATCH命令。在用戶使用WATCH命令監視某個鍵之后，直到該用戶執行EXEC命令的這段時間里，如果有其他用戶搶先對被監視的鍵進行了替換、更新、刪除等操作，那么當用戶嘗試執行EXEC的時候，事務將失敗並返回一個錯誤，用戶可以根據這個錯誤選擇重試事務或者放棄事務。
Watch(fn func(*Tx) error, keys ...string) error
Watch方法接收一個函數和一個或多個key作為參數。基本使用示例如下：
// 監視watch_count的值，並在值不變的前提下將其值+1
key := "watch_count"
err = client.Watch(func(tx *redis.Tx) error {
n, err := tx.Get(key).Int()
if err != nil && err != redis.Nil {
return err
}
_, err = tx.Pipelined(func(pipe redis.Pipeliner) error {
pipe.Set(key, n+1, 0)
return nil
})
return err
}, key)
最后看一個V8版本官方文檔中使用GET和SET命令以事務方式遞增Key的值的示例，僅當Key的值不發生變化時提交一個事務。
func transactionDemo() {
var (
maxRetries = 1000
routineCount = 10
)
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()
// Increment 使用GET和SET命令以事務方式遞增Key的值
increment := func(key string) error {
// 事務函數
txf := func(tx *redis.Tx) error {
// 獲得key的當前值或零值
n, err := tx.Get(ctx, key).Int()
if err != nil && err != redis.Nil {
return err
}
// 實際的操作代碼（樂觀鎖定中的本地操作）
n++
// 操作僅在 Watch 的 Key 沒發生變化的情況下提交
_, err = tx.TxPipelined(ctx, func(pipe redis.Pipeliner) error {
pipe.Set(ctx, key, n, 0)
return nil
})
return err
}
// 最多重試 maxRetries 次
for i := 0; i < maxRetries; i++ {
err := rdb.Watch(ctx, txf, key)
if err == nil {
// 成功
return nil
}
if err == redis.TxFailedErr {
// 樂觀鎖丟失 重試
continue
}
// 返回其他的錯誤
return err
}
return errors.New("increment reached maximum number of retries")
}
// 模擬 routineCount 個並發同時去修改 counter3 的值
var wg sync.WaitGroup
wg.Add(routineCount)
for i := 0; i < routineCount; i++ {
go func() {
defer wg.Done()
if err := increment("counter3"); err != nil {
fmt.Println("increment error:", err)
}
}()
}
wg.Wait()
n, err := rdb.Get(context.TODO(), "counter3").Int()
fmt.Println("ended with", n, err)
}