Redis現如今使用的場景越來越多?如何批量刪除key呢?
有人說用KEYS命令,剛開始學Redis的時候就是用這個命令列出庫中鍵。
KEYS命令要謹慎使用。
為何?客觀別急,我們先一步步來看。
KEYS 命令
Warning: consider KEYS as a command that should only be used in production environments
with extreme care. It may ruin performance when it is executed against large databases.
This command is intended for debugging and special operations, such as changing your
keyspace layout. Don't use KEYS in your regular application code. If you're looking for
a way to find keys in a subset of your keyspace, consider using sets.
上面是官方文檔聲明,KEYS
命令不能用在生產的環境中,這個時候如果數量過大效率是十分低的。同時也不要用KEYS
正則匹配,官方建議直接用集合類型。
有人說 KEYS
相當於關系性數據的庫的 select *
,在生產環境幾乎是要禁用的。
KEYS
命令的性能隨着數據庫數據的增多而越來越慢
KEYS
命令會引起阻塞,連續的 KEYS命令足以讓 Redis 阻塞
試想如果Redis阻塞超過10秒,如果有集群的場景,可能導致集群判斷Redis已經故障,從而進行故障切換;
以上的情況嚴重會導致應用程序出現雪崩的情況。
然而,網上很多都是這么寫的 redis-cli --raw keys "key前綴*" | xargs redis-cli del
,千萬別照炒,拿到生產環境上做實驗。
順便普及下xargs
命令,這是Linux下的一個命令 。
xargs命令是給其他命令傳遞參數的一個過濾器,也是組合多個命令的一個工具。它擅長將標准輸入數據轉換成命
令行參數,xargs能夠處理管道或者stdin並將其轉換成特定命令的命令參數。xargs也可以將單行或多行文本輸
入轉換為其他格式,例如多行變單行,單行變多行。xargs的默認命令是echo,空格是默認定界符。這意味着通過
管道傳遞給xargs的輸入將會包含換行和空白,不過通過xargs的處理,換行和空白將被空格取代。xargs是構建
單行命令的重要組件之一。
SCAN 命令
Redis從2.8版本開始支持scan命令,SCAN命令的基本用法如下:
復雜度雖然也是 O(n),通過游標分步進行不會阻塞線程;
有限制參數 COUNT ;
同 keys命令 一樣提供模式匹配功能;
服務器不需要為游標保存狀態,游標的唯一狀態就是 scan 返回給客戶端的游標整數;
scan用法
SCAN cursor [MATCH pattern] [COUNT count]
- 第一個遍歷是 cursor 值為0,然后將返回結果的第一個整數作為下一個遍歷的游標,如果最后返回的到cursor的值為0就代表結束。
- 第一個遍歷是 cursor 值為0,然后將返回結果的第一個整數作為下一個遍歷的游標,如果最后返回的到cursor的值為0就代表結束。
127.0.0.1:6379> scan 0 MATCH tony*
1) "42"
2) 1) "tony25"
2) "tony2519"
3) "tony2529"
4) "tony2510"
5) "tony2523"
6) "tony255"
7) "tony2514"
8) "tony256"
9) "tony2511"
10) "tony15"
127.0.0.1:6379> scan 42 MATCH tony* COUNT 1000
1) "0"
2) 1) "tony3513"
2) "tony359"
3) "tony4521"
4) "tony356"
5) "tony30"
6) "tony320"
7) "tony3"
8) "tony312"
返回分為兩個部分如上面的代碼中,
- 代表下一次迭代的游標,
- 代表本次迭代的結果集,注意如果返回游標為0就代表全部匹配完成。
批量刪除scan命令
因為KEYS命令的時間復雜度為O(n),而SCAN命令會將遍歷操作分解成m次,然后每次去執行,從而時間復雜度為O(1)。也解決使用keys命令遍歷大量數據而導致Redis服務器阻塞的情況。所以建議使用下邊的指令進行批量的刪除操作:
redis-cli --scan --pattern "key前綴*" | xargs -L 1000 redis-cli del
總結
因為Redis是但線程的KEYS
在某種情況下會阻塞。有個真實真案件小哥哥生產用KEYS,最終導致服務宕機。后果很嚴重,產生的經濟損失就不說了。
切記嚴重會導致程序的雪崩,刪除的時候用SCAN
命令,看完這篇文章應該都記住了。
Redis開發的建議
1、 數據分離
不要什么都往Redis中放,盡量放些QPS比較高的數據,內存的開銷很昂貴的,可以考慮硬盤存放。
2、分業務
不同的實例單獨放這樣存取的時候方便些,故障的時候也不會影響其他的實例。
3、壓縮
redis中有很大的單個key的值建議壓縮成二進制存放。
4、失效時間
redis中設置key的失效時間,如果不設置會一直占用着內存,而且key的失效時間應該根據業務場景來設置。
5、容量
占用內存不要太大10-20G,其次鍵的數量控制在1千萬以內。
6、監控
運維合理的監控好數據,做好Redis安全漏洞的防護和災備。