轉載自：http://blog.csdn.net/a_bang/article/details/52986935?locationNum=9&fps=1
項目中有個接口要頻繁調用查詢數據庫中的數據，為了降低數據庫的壓力，所以把一部分記錄先緩存在redis中，對redis中的數據設置了期限。今天無意間發現一個問題，使用dbsize查詢出來的數量，比實際緩存量要高一部分。用
redis-cli keys '*'|wc -l
獲取到的數據和實際情況是一樣的。如下面兩圖：
對比發現，redis中key的總量為286957，比數據庫中的264032高出了20000多個！為什么會這樣呢？查找程序原因，並沒有發現邏輯問題。查找redis相關資料，發現原來是redis對過期鍵處理機制導致的誤差。 dbsize返回的是包含過期鍵的總數，所以造成了誤差！結合查找的資料，拿來一起分享。
Redis對於過期鍵有三種清除策略：
- 被動刪除：當讀/寫一個已經過期的key時，會觸發惰性刪除策略，直接刪除掉這個過期key
- 主動刪除：由於惰性刪除策略無法保證冷數據被及時刪掉，所以Redis會定期主動淘汰一批已過期的key
- 當前已用內存超過maxmemory限定時，觸發主動清理策略
被動刪除
只有key被操作時(如GET)，REDIS才會被動檢查該key是否過期，如果過期則刪除之並且返回NIL。 1、這種刪除策略對CPU是友好的，刪除操作只有在不得不的情況下才會進行，不會對其他的expire key上浪費無謂的CPU時間。 2、但是這種策略對內存不友好，一個key已經過期，但是在它被操作之前不會被刪除，仍然占據內存空間。如果有大量的過期鍵存在但是又很少被訪問到，那會造成大量的內存空間浪費。expireIfNeeded(redisDb *db, robj *key)函數位於src/db.c。 但僅是這樣是不夠的，因為可能存在一些key永遠不會被再次訪問到，這些設置了過期時間的key也是需要在過期后被刪除的，我們甚至可以將這種情況看作是一種內存泄露—-無用的垃圾數據占用了大量的內存，而服務器卻不會自己去釋放它們，這對於運行狀態非常依賴於內存的Redis服務器來說，肯定不是一個好消息。
主動刪除
先說一下時間事件，對於持續運行的服務器來說， 服務器需要定期對自身的資源和狀態進行必要的檢查和整理， 從而讓服務器維持在一個健康穩定的狀態， 這類操作被統稱為常規操作（cron job）
在 Redis 中， 常規操作由 redis.c/serverCron 實現， 它主要執行以下操作
- 更新服務器的各類統計信息，比如時間、內存占用、數據庫占用情況等。
- 清理數據庫中的過期鍵值對。
- 對不合理的數據庫進行大小調整。
- 關閉和清理連接失效的客戶端。
- 嘗試進行 AOF 或 RDB 持久化操作。
- 如果服務器是主節點的話，對附屬節點進行定期同步。
- 如果處於集群模式的話，對集群進行定期同步和連接測試。
Redis 將 serverCron 作為時間事件來運行， 從而確保它每隔一段時間就會自動運行一次， 又因為 serverCron 需要在 Redis 服務器運行期間一直定期運行， 所以它是一個循環時間事件： serverCron 會一直定期執行，直到服務器關閉為止。
在 Redis 2.6 版本中， 程序規定 serverCron 每秒運行 10 次， 平均每 100 毫秒運行一次。 從 Redis 2.8 開始， 用戶可以通過修改 hz選項來調整 serverCron 的每秒執行次數， 具體信息請參考 redis.conf 文件中關於 hz 選項的說明也叫定時刪除，這里的“定期”指的是Redis定期觸發的清理策略，由位於src/redis.c的activeExpireCycle(void)函數來完成。
serverCron是由redis的事件框架驅動的定位任務，這個定時任務中會調用activeExpireCycle函數，針對每個db在限制的時間REDIS_EXPIRELOOKUPS_TIME_LIMIT內遲可能多的刪除過期key，之所以要限制時間是為了防止過長時間 的阻塞影響redis的正常運行。這種主動刪除策略彌補了被動刪除策略在內存上的不友好。
因此，Redis會周期性的隨機測試一批設置了過期時間的key並進行處理。測試到的已過期的key將被刪除。典型的方式為,Redis每秒做10次如下的步驟：
- 隨機測試100個設置了過期時間的key
- 刪除所有發現的已過期的key
- 若刪除的key超過25個則重復步驟1
這是一個基於概率的簡單算法，基本的假設是抽出的樣本能夠代表整個key空間，redis持續清理過期的數據直至將要過期的key的百分比降到了25%以下。這也意味着在任何給定的時刻已經過期但仍占據着內存空間的key的量最多為每秒的寫操作量除以4.
Redis-3.0.0中的默認值是10，代表每秒鍾調用10次后台任務。
除了主動淘汰的頻率外，Redis對每次淘汰任務執行的最大時長也有一個限定，這樣保證了每次主動淘汰不會過多阻塞應用請求，以下是這個限定計算公式：
#define ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC 25 /* CPU max % for keys collection */ ... timelimit = 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100;
hz調大將會提高Redis主動淘汰的頻率，如果你的Redis存儲中包含很多冷數據占用內存過大的話，可以考慮將這個值調大，但Redis作者建議這個值不要超過100。我們實際線上將這個值調大到100，觀察到CPU會增加2%左右，但對冷數據的內存釋放速度確實有明顯的提高（通過觀察keyspace個數和used_memory大小）。
可以看出timelimit和server.hz是一個倒數的關系，也就是說hz配置越大，timelimit就越小。換句話說是每秒鍾期望的主動淘汰頻率越高，則每次淘汰最長占用時間就越短。這里每秒鍾的最長淘汰占用時間是固定的250ms（1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/100），而淘汰頻率和每次淘汰的最長時間是通過hz參數控制的。
從以上的分析看，當redis中的過期key比率沒有超過25%之前，提高hz可以明顯提高掃描key的最小個數。假設hz為10，則一秒內最少掃描200個key（一秒調用10次*每次最少隨機取出20個key），如果hz改為100，則一秒內最少掃描2000個key；另一方面，如果過期key比率超過25%，則掃描key的個數無上限，但是cpu時間每秒鍾最多占用250ms。
當REDIS運行在主從模式時，只有主結點才會執行上述這兩種過期刪除策略，然后把刪除操作”del key”同步到從結點。
maxmemory 當前已用內存超過maxmemory限定時，觸發主動清理策略
- volatile-lru：只對設置了過期時間的key進行LRU（默認值）
- allkeys-lru ： 刪除lru算法的key
- volatile-random：隨機刪除即將過期key
- allkeys-random：隨機刪除
- volatile-ttl ： 刪除即將過期的
- noeviction ： 永不過期，返回錯誤
當mem_used內存已經超過maxmemory的設定，對於所有的讀寫請求，都會觸發redis.c/freeMemoryIfNeeded(void)函數以清理超出的內存。注意這個清理過程是阻塞的，直到清理出足夠的內存空間。所以如果在達到maxmemory並且調用方還在不斷寫入的情況下，可能會反復觸發主動清理策略，導致請求會有一定的延遲。
清理時會根據用戶配置的maxmemory-policy來做適當的清理（一般是LRU或TTL），這里的LRU或TTL策略並不是針對redis的所有key，而是以配置文件中的maxmemory-samples個key作為樣本池進行抽樣清理。
maxmemory-samples在redis-3.0.0中的默認配置為5，如果增加，會提高LRU或TTL的精准度，redis作者測試的結果是當這個配置為10時已經非常接近全量LRU的精准度了，並且增加maxmemory-samples會導致在主動清理時消耗更多的CPU時間，建議：
- 盡量不要觸發maxmemory，最好在mem_used內存占用達到maxmemory的一定比例后，需要考慮調大hz以加快淘汰，或者進行集群擴容。
- 如果能夠控制住內存，則可以不用修改maxmemory-samples配置；如果Redis本身就作為LRU cache服務（這種服務一般長時間處於maxmemory狀態，由Redis自動做LRU淘汰），可以適當調大maxmemory-samples。
這里提一句，實際上redis根本就不會准確的將整個數據庫中最久未被使用的鍵刪除，而是每次從數據庫中隨機取5個鍵並刪除這5個鍵里最久未被使用的鍵。上面提到的所有的隨機的操作實際上都是這樣的，這個5可以用過redis的配置文件中的maxmemeory-samples參數配置。
Replication link和AOF文件中的過期處理
為了獲得正確的行為而不至於導致一致性問題，當一個key過期時DEL操作將被記錄在AOF文件並傳遞到所有相關的slave。也即過期刪除操作統一在master實例中進行並向下傳遞，而不是各salve各自掌控。這樣一來便不會出現數據不一致的情形。當slave連接到master后並不能立即清理已過期的key（需要等待由master傳遞過來的DEL操作），slave仍需對數據集中的過期狀態進行管理維護以便於在slave被提升為master會能像master一樣獨立的進行過期處理。
參考博文：
http://www.cnblogs.com/chenpingzhao/p/5022467.html?utm_source=tuicool&utm_medium=referral