redis最佳實踐

 

Redis 內存分析方法

背景

線上經常遇到用戶想知道自己 Redis 實例中數據的內存分布情況。為了不影響線上實例的使用，我們一般會采用 bgsave 生成 dump.rdb 文件，再結合 redis-rdb-tools 和 sqlite 來進行靜態分析。總的來說，整個分析的過程簡單而實用，是每一個 Redis 的用戶都非常值得掌握的一個方法。

創建備份

自建 Redis 可在客戶端執行 bgsave 生成 rdb 文件。雲數據庫 Redis 版可以在控制台上可以進行數據備份和下載的操作，下載后的數據為 rdb 格式文件。步驟詳見下圖：

生成內存快照

redis-rdb-tools 是一個 python 的解析 rdb 文件的工具，在分析內存的時候，我們主要用它生成內存快照。主要有以下三個功能：

• 生成內存快照
• 轉儲成 json 格式
• 使用標准的 diff 工具比較兩個 dump 文件

redis-rdb-tools 安裝

redis-rdb-tools 有兩種安裝方式，任選其一即可。

使用 PYPI 安裝

1. pip install rdbtools

從源碼安裝

1. git clone https://github.com/sripathikrishnan/redis-rdb-tools
2. cd redis-rdb-tools
3. sudo python setup.py install

使用 redis-rdb-tools 生成內存快照

生成內存快照的命令為：

1. rdb -c memory dump.rdb > memory.csv

生成 CSV 格式的內存報告。包含的列有：數據庫 ID，數據類型，key，內存使用量(byte)，編碼。內存使用量包含 key、value 和其他值。

注意：內存使用量是理論上的近似值，在一般情況下，略低於實際值。memory.csv 例子：

1. $head memory.csv
2. database,type,key,size_in_bytes,encoding,num_elements,len_largest_element
3. 0,string,"orderAt:377671748",96,string,8,8
4. 0,string,"orderAt:413052773",96,string,8,8
5. 0,sortedset,"Artical:Comments:7386",81740,skiplist,479,41
6. 0,sortedset,"pay:id:18029",2443,ziplist,84,16
7. 0,string,"orderAt:452389458",96,string,8,8

分析內存快照

SQLite 是一款輕型的數據庫。我們可以將前面生成的 csv 導入到數據庫中之后，就可以利用 sql 語句很方便的對 Redis 的內存數據進行各種分析了。

注意：SQLite版本必須是3.16.0以上。

導入方法

1. sqlite3 memory.db
2. sqlite> create table memory(database int,type varchar(128),key varchar(128),size_in_bytes int,encoding varchar(128),num_elements int,len_largest_element varchar(128));
3. sqlite>.mode csv memory
4. sqlite>.import memory.csv memory

數據導入以后，接下來想怎么分析就怎么分析了，舉幾個簡單的例子：

查詢key個數

1. sqlite>select count(*) from memory;

查詢總的內存占用

1. sqlite>select sum(size_in_bytes) from memory;

查詢內存占用最高的10個 key

1. sqlite>select * from memory order by size_in_bytes desc limit 10;

查詢成員個數1000個以上的 list

1. sqlite>select * from memory where type='list' and num_elements > 1000 ;

總結

通過使用 redis-rdb-tools + sqlite 的方式，可以方便的對 redis 實例的內存情況進行靜態的分析。整個過程也比較簡單，獲取到 rdb 之后即可。

1. rdb -c memory dump.rdb > memory.csv;
2. sqlite3 memory.db
3. sqlite> create table memory(database int,type varchar(128),key varchar(128),size_in_bytes int,encoding varchar(128),num_elements int,len_largest_element varchar(128));
4. sqlite>.mode csv memory
5. sqlite>.import memory.csv memory

實際使用中，發現過一個 List 積攢了10多 GB 的內容，也發現過43 MB 以上的 string 類型的 value， 往往不僅能解答用戶的疑惑，而且能夠幫助用戶排除業務中潛在的風險點，找到業務性能瓶頸。

游戲玩家排行榜

場景介紹

雲數據庫 Redis 版在功能上與 Redis 基本一致，因此很容易用它來實現一個在線游戲中的積分排行榜功能。

代碼示例

1. import java.util.ArrayList;
2. import java.util.List;
3. import java.util.Set;
4. import java.util.UUID;
6. import redis.clients.jedis.Jedis;
7. import redis.clients.jedis.Tuple;
9. public class GameRankSample {
11. static int TOTAL_SIZE = 20;
13. public static void main(String[] args)
14. {
15. //連接信息，從控制台可以獲得
16. String host = "xxxxxxxxxx.m.cnhz1.kvstore.aliyuncs.com";
17. int port = 6379;
19. Jedis jedis = new Jedis(host, port);
21. try {
22. //實例密碼
23. String authString = jedis.auth("password");//password
25. if (!authString.equals("OK"))
26. {
27. System.err.println("AUTH Failed: " + authString);
28. return;
29. }
31. //Key(鍵)
32. String key = "游戲名：奔跑吧，阿里！";
34. //清除可能的已有數據
35. jedis.del(key);
37. //模擬生成若干個游戲玩家
38. List<String> playerList = new ArrayList<String>();
39. for (int i = 0; i < TOTAL_SIZE; ++i)
40. {
41. //隨機生成每個玩家的ID
42. playerList.add(UUID.randomUUID().toString());
43. }
46. System.out.println("輸入所有玩家 ");
47. //記錄每個玩家的得分
48. for (int i = 0; i < playerList.size(); i++)
49. {
50. //隨機生成數字，模擬玩家的游戲得分
51. int score = (int)(Math.random()*5000);
53. String member = playerList.get(i);
55. System.out.println("玩家ID：" + member + "， 玩家得分: " + score);
57. //將玩家的ID和得分，都加到對應key的SortedSet中去
58. jedis.zadd(key, score, member);
60. }
62. //輸出打印全部玩家排行榜
63. System.out.println();
64. System.out.println(" "+key);
65. System.out.println(" 全部玩家排行榜 ");
67. //從對應key的SortedSet中獲取已經排好序的玩家列表
68. Set<Tuple> scoreList = jedis.zrevrangeWithScores(key, 0, -1);
69. for (Tuple item : scoreList) {
70. System.out.println("玩家ID："+item.getElement()+"， 玩家得分:"+Double.valueOf(item.getScore()).intValue());
71. }
73. //輸出打印Top5玩家排行榜
74. System.out.println();
75. System.out.println(" "+key);
76. System.out.println(" Top 玩家");
78. scoreList = jedis.zrevrangeWithScores(key, 0, 4);
79. for (Tuple item : scoreList) {
80. System.out.println("玩家ID："+item.getElement()+"， 玩家得分:"+Double.valueOf(item.getScore()).intValue());
81. }
83. //輸出打印特定玩家列表
84. System.out.println();
85. System.out.println(" "+key);
86. System.out.println(" 積分在1000至2000的玩家");
88. //從對應key的SortedSet中獲取已經積分在1000至2000的玩家列表
89. scoreList = jedis.zrangeByScoreWithScores(key, 1000, 2000);
90. for (Tuple item : scoreList) {
91. System.out.println("玩家ID："+item.getElement()+"， 玩家得分:"+Double.valueOf(item.getScore()).intValue());
92. }
94. } catch (Exception e) {
95. e.printStackTrace();
96. }finally{
97. jedis.quit();
98. jedis.close();
99. }
100. }
101. }

運行結果

在輸入了正確的雲數據庫 Redis 版實例訪問地址和密碼之后，運行以上 Java 程序，輸出結果如下：

1. 輸入所有玩家
2. 玩家ID：9193e26f-6a71-4c76-8666-eaf8ee97ac86， 玩家得分: 3860
3. 玩家ID：db03520b-75a3-48e5-850a-071722ff7afb， 玩家得分: 4853
4. 玩家ID：d302d24d-d380-4e15-a4d6-84f71313f27a， 玩家得分: 2931
5. 玩家ID：bee46f9d-4b05-425e-8451-8aa6d48858e6， 玩家得分: 1796
6. 玩家ID：ec24fb9e-366e-4b89-a0d5-0be151a8cad0， 玩家得分: 2263
7. 玩家ID：e11ecc2c-cd51-4339-8412-c711142ca7aa， 玩家得分: 1848
8. 玩家ID：4c396f67-da7c-4b99-a783-25919d52d756， 玩家得分: 958
9. 玩家ID：a6299dd2-4f38-4528-bb5a-aa2d48a9f94a， 玩家得分: 2428
10. 玩家ID：2e4ec631-1e4e-4ef0-914f-7bf1745f7d65， 玩家得分: 4478
11. 玩家ID：24235a85-85b9-476e-8b96-39f294f57aa7， 玩家得分: 1655
12. 玩家ID：e3e8e1fa-6aac-4a0c-af80-4c4a1e126cd1， 玩家得分: 4064
13. 玩家ID：99bc5b4f-e32a-4295-bc3a-0324887bb77e， 玩家得分: 4852
14. 玩家ID：19e2aa6b-a2d8-4e56-bdf7-8b59f64bd8e0， 玩家得分: 3394
15. 玩家ID：cb62bb24-1318-4af2-9d9b-fbff7280dbec， 玩家得分: 3405
16. 玩家ID：ec0f06da-91ee-447b-b935-7ca935dc7968， 玩家得分: 4391
17. 玩家ID：2c814a6f-3706-4280-9085-5fe5fd56b71c， 玩家得分: 2510
18. 玩家ID：9ee2ed6d-08b8-4e7f-b52c-9adfe1e32dda， 玩家得分: 63
19. 玩家ID：0293b43a-1554-4157-a95b-b78de9edf6dd， 玩家得分: 1008
20. 玩家ID：674bbdd1-2023-46ae-bbe6-dfcd8e372430， 玩家得分: 2265
21. 玩家ID：34574e3e-9cc5-43ed-ba15-9f5405312692， 玩家得分: 3734
23. 游戲名：奔跑吧，阿里！
24. 全部玩家排行榜
25. 玩家ID：db03520b-75a3-48e5-850a-071722ff7afb， 玩家得分:4853
26. 玩家ID：99bc5b4f-e32a-4295-bc3a-0324887bb77e， 玩家得分:4852
27. 玩家ID：2e4ec631-1e4e-4ef0-914f-7bf1745f7d65， 玩家得分:4478
28. 玩家ID：ec0f06da-91ee-447b-b935-7ca935dc7968， 玩家得分:4391
29. 玩家ID：e3e8e1fa-6aac-4a0c-af80-4c4a1e126cd1， 玩家得分:4064
30. 玩家ID：9193e26f-6a71-4c76-8666-eaf8ee97ac86， 玩家得分:3860
31. 玩家ID：34574e3e-9cc5-43ed-ba15-9f5405312692， 玩家得分:3734
32. 玩家ID：cb62bb24-1318-4af2-9d9b-fbff7280dbec， 玩家得分:3405
33. 玩家ID：19e2aa6b-a2d8-4e56-bdf7-8b59f64bd8e0， 玩家得分:3394
34. 玩家ID：d302d24d-d380-4e15-a4d6-84f71313f27a， 玩家得分:2931
35. 玩家ID：2c814a6f-3706-4280-9085-5fe5fd56b71c， 玩家得分:2510
36. 玩家ID：a6299dd2-4f38-4528-bb5a-aa2d48a9f94a， 玩家得分:2428
37. 玩家ID：674bbdd1-2023-46ae-bbe6-dfcd8e372430， 玩家得分:2265
38. 玩家ID：ec24fb9e-366e-4b89-a0d5-0be151a8cad0， 玩家得分:2263
39. 玩家ID：e11ecc2c-cd51-4339-8412-c711142ca7aa， 玩家得分:1848
40. 玩家ID：bee46f9d-4b05-425e-8451-8aa6d48858e6， 玩家得分:1796
41. 玩家ID：24235a85-85b9-476e-8b96-39f294f57aa7， 玩家得分:1655
42. 玩家ID：0293b43a-1554-4157-a95b-b78de9edf6dd， 玩家得分:1008
43. 玩家ID：4c396f67-da7c-4b99-a783-25919d52d756， 玩家得分:958
44. 玩家ID：9ee2ed6d-08b8-4e7f-b52c-9adfe1e32dda， 玩家得分:63
46. 游戲名：奔跑吧，阿里！
47. Top 玩家
48. 玩家ID：db03520b-75a3-48e5-850a-071722ff7afb， 玩家得分:4853
49. 玩家ID：99bc5b4f-e32a-4295-bc3a-0324887bb77e， 玩家得分:4852
50. 玩家ID：2e4ec631-1e4e-4ef0-914f-7bf1745f7d65， 玩家得分:4478
51. 玩家ID：ec0f06da-91ee-447b-b935-7ca935dc7968， 玩家得分:4391
52. 玩家ID：e3e8e1fa-6aac-4a0c-af80-4c4a1e126cd1， 玩家得分:4064
54. 游戲名：奔跑吧，阿里！
55. 積分在1000至2000的玩家
56. 玩家ID：0293b43a-1554-4157-a95b-b78de9edf6dd， 玩家得分:1008
57. 玩家ID：24235a85-85b9-476e-8b96-39f294f57aa7， 玩家得分:1655
58. 玩家ID：bee46f9d-4b05-425e-8451-8aa6d48858e6， 玩家得分:1796
59. 玩家ID：e11ecc2c-cd51-4339-8412-c711142ca7aa， 玩家得分:1848