Redis中有個設置時間過期的功能,即對存儲在redis數據庫中的值可以設置一個過期時間。作為一個緩存數據庫,這是非常實用的。如我們一般項目中的token或者一些登錄信息,尤其是短信驗證碼都是有時間限制的,按照傳統的數據庫處理方式,一般都是自己判斷過期,這樣無疑會嚴重影響項目性能
set key的時候,都可以給一個expire time,就是過期時間,通過過期時間就可以指定這個key可以存活的時間
過期數據:Redis是一種內存級數據庫,所有數據均存放在內存中,內存中的數據可以通過TTL指令獲取其狀態
XX:具有時效性的數據 -1:永久有效的數據 -2:已經過期的數據或被刪除的數據或未定義的數據
時效數據的存儲結構
數據刪除策略的目標:在內存占用與CPU占用之間尋找一種平衡,顧此失彼都會造成整體redis性能的下降,甚至引發服務器宕機或內存泄漏
數據刪除策略:定時刪除+定期刪除+惰性刪除
定時刪除:創建一個定時器,當key設置有過期時間,且過期時間到達時,由定時器任務立即執行對鍵的刪除操作
優點:節約內存,到時就刪除,快速釋放掉不必要的內存占用
缺點:CPU壓力很大,無論CPU此時負載量多高,均占用CPU,會影響redis服務器響應時間和指令吞吐量
總結:用處理器性能換空間
定期刪除:redis默認是每隔100ms就隨機抽取一些設置了過期時間的key,檢查其是否過期,如果過期就刪除。注意這里是隨機抽取的。為什么要隨機呢?假如redis存了幾十萬個key,每隔100ms就遍歷所有的設置過期時間的key的話,就會給CPU帶來很大的負載。
expires[i] i代表庫
Redis啟動服務器初始化時,讀取配置server.hz的值,默認為10
每秒鍾執行server.hz次serverCron()-->databasesCron()-->activeExpireCycle()
activeExpireCycle()對每個expires[*]逐一進行檢測,每次執行250ms/server.hz
對某個expires[*]檢測時,隨機挑選W個key檢測:如果key超時,刪除key;如果一輪中刪除的key的數量>W*25%,循環該過程;如果一輪中刪除的key的數量<=W*25%,檢查下一個expires[*],0-15循環(默認值設置為16的話)
W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP屬性值
參數curret_db用於記錄activeExpireCycle()進入哪個expires[*]執行
如果activeExpireCycle()執行時間到期,下次從current_db繼續向下執行
周期性輪詢redis庫中的時效性數據,采用隨機抽取的策略,利用過期數據占比的方式控制刪除頻度
特點1:CPU性能占用設置有峰值,檢測頻度可自定義設置
特點2:內存壓力不是很大,長期占用內存的冷數據會被持續清理
總結:周期性抽查存儲空間
惰性刪除:定期刪除可能會導致很多過期key到了時間並沒有被刪除掉。所以就有了惰性刪除。假如你的過期key,靠定期刪除沒有被刪除掉,還停留在內存里,除非你的系統去查一下那個key,才會被redis給刪除掉。這就是所謂的惰性刪除。expireIfNeeded(),檢查數據是否過期,執行get的時候調用
優點:節約CPU性能,發現必須刪除的時候才刪除
缺點:內存壓力很大,出現長期占用內存的數據
總結:用存儲空間換取處理器性能(隨機抽查,重點抽查)
逐出算法
新數據進入檢測:當新數據進入redis時,如果內存不足怎么辦?
Redis使用內存存儲數據,在執行每一個命令前,會調用freeMemoryIfNeeded()檢測內存是否充足。如果內存不滿足新加入數據的最低存儲要求,redis要臨時刪除一些數據為當前指令清理存儲空間。清理數據的策略稱為逐出算法。
注意:逐出數據的過程不是100%能夠清理出足夠的可使用的內存空間,如果不成功則反復執行。當對所有數據嘗試完畢后,如果不能達到內存清理的要求,將出現錯誤信息。
(err)OOM command not allowed when used memory > 'maxmemory'
最大可使用內存maxmemory:占用物理內存的比例,默認值為0,表示不限制。通常設置在50%以上
每次選取待刪除數據的個數:maxmemory-samples 選取數據時並不會全庫掃描,導致嚴重的性能損耗,降低讀寫性能。因此采用隨機獲取數據的方式作為待檢測刪除數據
刪除策略:maxmemory-policy 達到最大內存后,對被選出來的數據進行刪除的策略
redis內存淘汰機制 redis提供6種數據淘汰策略:
配置:maxmemory-policy volatile-lru
檢測易失性數據(可能會過期的數據集server.db[i].expires)
volatile-lru --> 從已設置過期時間的數據集中挑選最近最少使用的數據淘汰
volatile-lfu-->從已設置過期時間的數據集中挑選最不經常使用的數據淘汰
volatile-ttl-->從已設置過期時間的數據集中挑選將要過期的數據淘汰
volatile-random -->從已設置過期時間的數據集中任意選擇數據淘汰
檢測全庫數據(所有數據集server.db[i].dict)
allkeys-lru --> 當內存不足以容納新寫入數據時,在鍵空間中,移除最近最少使用的key(最常用)
allkeys-random-->從數據集中任意選擇數據淘汰
allkeys-lfu-->當內存不足以容納新寫入數據時,在鍵空間中,移除最不經常使用的key
放棄數據驅逐
no-eviction-->禁止驅逐數據(redis4.0默認策略),也就是說當內存不足以容納新寫入數據時,新寫入操作或報錯,回引發OOM(Out of memory)
可以通過info命令查看緩存命中次數