Redis刪除策略


Redis中有個設置時間過期的功能,即對存儲在redis數據庫中的值可以設置一個過期時間。作為一個緩存數據庫,這是非常實用的。如我們一般項目中的token或者一些登錄信息,尤其是短信驗證碼都是有時間限制的,按照傳統的數據庫處理方式,一般都是自己判斷過期,這樣無疑會嚴重影響項目性能

set key的時候,都可以給一個expire time,就是過期時間,通過過期時間就可以指定這個key可以存活的時間

 

過期數據:Redis是一種內存級數據庫,所有數據均存放在內存中,內存中的數據可以通過TTL指令獲取其狀態

XX:具有時效性的數據     -1:永久有效的數據     -2:已經過期的數據或被刪除的數據或未定義的數據

 

時效數據的存儲結構

 

 

 

數據刪除策略的目標:在內存占用與CPU占用之間尋找一種平衡,顧此失彼都會造成整體redis性能的下降,甚至引發服務器宕機或內存泄漏

數據刪除策略:定時刪除+定期刪除+惰性刪除

  定時刪除:創建一個定時器,當key設置有過期時間,且過期時間到達時,由定時器任務立即執行對鍵的刪除操作

       優點:節約內存,到時就刪除,快速釋放掉不必要的內存占用

       缺點:CPU壓力很大,無論CPU此時負載量多高,均占用CPU,會影響redis服務器響應時間和指令吞吐量

       總結:用處理器性能換空間

  定期刪除:redis默認是每隔100ms就隨機抽取一些設置了過期時間的key,檢查其是否過期,如果過期就刪除。注意這里是隨機抽取的。為什么要隨機呢?假如redis存了幾十萬個key,每隔100ms就遍歷所有的設置過期時間的key的話,就會給CPU帶來很大的負載。

     expires[i]  i代表庫  

     Redis啟動服務器初始化時,讀取配置server.hz的值,默認為10

     每秒鍾執行server.hz次serverCron()-->databasesCron()-->activeExpireCycle()

     activeExpireCycle()對每個expires[*]逐一進行檢測,每次執行250ms/server.hz 

     對某個expires[*]檢測時,隨機挑選W個key檢測:如果key超時,刪除key;如果一輪中刪除的key的數量>W*25%,循環該過程;如果一輪中刪除的key的數量<=W*25%,檢查下一個expires[*],0-15循環(默認值設置為16的話)

     W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP屬性值

     參數curret_db用於記錄activeExpireCycle()進入哪個expires[*]執行

     如果activeExpireCycle()執行時間到期,下次從current_db繼續向下執行

     

    周期性輪詢redis庫中的時效性數據,采用隨機抽取的策略,利用過期數據占比的方式控制刪除頻度

    特點1:CPU性能占用設置有峰值,檢測頻度可自定義設置

    特點2:內存壓力不是很大,長期占用內存的冷數據會被持續清理

    總結:周期性抽查存儲空間

 

  惰性刪除:定期刪除可能會導致很多過期key到了時間並沒有被刪除掉。所以就有了惰性刪除。假如你的過期key,靠定期刪除沒有被刪除掉,還停留在內存里,除非你的系統去查一下那個key,才會被redis給刪除掉。這就是所謂的惰性刪除。expireIfNeeded(),檢查數據是否過期,執行get的時候調用

      優點:節約CPU性能,發現必須刪除的時候才刪除

      缺點:內存壓力很大,出現長期占用內存的數據

      總結:用存儲空間換取處理器性能(隨機抽查,重點抽查)

 

 

 

 

 

逐出算法

新數據進入檢測:當新數據進入redis時,如果內存不足怎么辦?

Redis使用內存存儲數據,在執行每一個命令前,會調用freeMemoryIfNeeded()檢測內存是否充足。如果內存不滿足新加入數據的最低存儲要求,redis要臨時刪除一些數據為當前指令清理存儲空間。清理數據的策略稱為逐出算法。

注意:逐出數據的過程不是100%能夠清理出足夠的可使用的內存空間,如果不成功則反復執行。當對所有數據嘗試完畢后,如果不能達到內存清理的要求,將出現錯誤信息。

(err)OOM command not allowed when used memory > 'maxmemory'

 

最大可使用內存maxmemory:占用物理內存的比例,默認值為0,表示不限制。通常設置在50%以上

每次選取待刪除數據的個數:maxmemory-samples  選取數據時並不會全庫掃描,導致嚴重的性能損耗,降低讀寫性能。因此采用隨機獲取數據的方式作為待檢測刪除數據

刪除策略:maxmemory-policy 達到最大內存后,對被選出來的數據進行刪除的策略

 

redis內存淘汰機制    redis提供6種數據淘汰策略:

 

配置:maxmemory-policy volatile-lru

 

檢測易失性數據(可能會過期的數據集server.db[i].expires)

volatile-lru  -->  從已設置過期時間的數據集中挑選最近最少使用的數據淘汰

volatile-lfu-->從已設置過期時間的數據集中挑選最不經常使用的數據淘汰

volatile-ttl-->從已設置過期時間的數據集中挑選將要過期的數據淘汰

volatile-random -->從已設置過期時間的數據集中任意選擇數據淘汰

 

檢測全庫數據(所有數據集server.db[i].dict)

allkeys-lru  -->  當內存不足以容納新寫入數據時,在鍵空間中,移除最近最少使用的key(最常用)

allkeys-random-->從數據集中任意選擇數據淘汰

allkeys-lfu-->當內存不足以容納新寫入數據時,在鍵空間中,移除最不經常使用的key

 

放棄數據驅逐

no-eviction-->禁止驅逐數據(redis4.0默認策略),也就是說當內存不足以容納新寫入數據時,新寫入操作或報錯,回引發OOM(Out of memory)

 

可以通過info命令查看緩存命中次數

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM