Redis入門到精通(十四)——三種過期數據刪除策略、過期數據的底層存儲結構、定時刪除和惰性刪除、定期刪除、刪除策略的對比、數據逐出策略


Redis中的數據特征

當指令太多的情況下,CPU的壓力會過大,那么先不做清除數據的操作,等到空閑時間再來操作

數據刪除策略

1.定時刪除
2.惰性刪除
3.定期刪除

一、過期數據的底層存儲結構

數據刪除策略的目標

二、定時刪除和惰性刪除

定時刪除

 

惰性刪除

數據到達過期時間,不做處理,等下次訪問該數據的時候再來刪除,來請求數據:
    1.如果發現為過期,返回數據
    2.發現已過期,刪除過期數據,返回不存在。在任何獲取數據操作之前,都會執行expirelfNeeded()函數來檢查數據是否過期

優點:節約CPU性能,發現必須刪除的時候才刪除
缺點:內存壓力很大,出現長期占用內存的數據

總結:用存儲空間換區處理器性能(拿空間換時間)

三、定期刪除

activeExpireCycle()函數對每個expires(數據庫)逐一進行檢測
對每個數據庫檢測時,隨機挑選W個key檢測
    1.如果key超時,刪除key
    2.如果一輪中刪除key的數量>W*25%,循環該過程(繼續挑選w個key檢測)
    3.如果一輪中刪除key的數量<=W*25%,檢查下一個數據庫,一直這樣循環
    4.W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP屬性值
參數current_db用於記錄activeExpireCyle()進入哪個數據庫執行,如果activeExpireCycle()執行時間到期,下次從current_db繼續向下執行

周期性輪詢redis庫中的時效性數據,采取隨機抽取的策略,利用過期數據占比的方式控制刪除頻度

特點1:CPU性能占用設置有峰值,檢測頻度可以自定義設置       #查詢方法:info server的hz字段
特點2:內存壓力不是很大,長期占用內存的冷數據會被持續清理

總結:周期性抽查存儲空間(隨機抽查,重點抽查)

四、刪除策略對比

1.定時刪除     節約內存,無占用   不分時段占用CPU資源,頻度高        拿時間換空間
2.惰性刪除      內存占用嚴重        延時執行,CPU利用率高                拿空間換時間
3.定期刪除     內存定期隨機刪除   每秒花費固定的CPU資源維護內存    隨機抽查,重點抽查

一般都是使用惰性刪除和定期刪除

五、數據逐出策略(內存不足時觸發)

Redis使用內存存儲數據,在執行每一個命令前,會調用freeMemorylfNeeded()檢測內存是否充足。
如果內存不滿足新加入數據的最低存儲要求,redis要臨時刪除一些數據為當前指令清理存儲空間。清理數據的策略稱為逐出算法。 注意:逐出數據過程不是100
%能夠清理出足夠的可使用的內存空間,如果不成功則反復執行。當對所有數據嘗試完畢后,如果不能達到內存清理的要求,將出現錯誤信息。

影響數據逐出的相關配置

設置最大可使用內存     
maxmemory #占用物理內存的比例,默認值為0,表示不限制。生產環境中根據需求設定,通常設置在50%以上。

每次隨機選取待刪除數據的個數
maxmemory-samples    #選取數據時並不會全庫掃描,導致嚴重的性能消耗,降低讀寫性能。因此采用隨機獲取數據的方式作為待檢測刪除數據

選擇刪除策略
maxmemory-policy     #達到最大內存后,對被挑選出來的數據進行刪除的方式

注意:一般是使用檢測易失數據

檢測易失數據(可能會過期的數據集server.db[i].expires)
1.volatile-lru:挑選最近最早使用的數據淘汰
2.volatile-lfu:挑選最近使用次數最少的數據淘汰
3.volatile-ttl:挑選將要過期的數據淘汰
4.volatile-random:任意選擇數據淘汰

檢測全庫數據(所有數據server.db[i].dict)
5.allkeys-lru:挑選最近最早使用的數據淘汰
6.allkeys-lfu:挑選最近使用次數最少的數據淘汰
7.allkeys-random:任意選擇數據淘汰

放棄數據驅逐
8.no-enviction(驅逐):禁止驅逐數據(redis4.0中默認策略),會引發錯誤OOM

maxmemory-policy volatile-lru

 三種數據逐出策略:

FIFO(First In First Out):先進先出,淘汰最先進來的頁面,新進來的頁面最遲被淘汰,符合隊列
LRU(Least recently used):最近最少使用,淘汰最近不使用的頁面
LFU(Least frequently used):最近使用次數最少,淘汰最少使用的頁面

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM