redis學習筆記——RDB、AOF和復制時對過期鍵的處理


AOF、RDB和復制功能對過期鍵的處理

生成RDB文件

在執行SAVE命令或者BGSAVE命令創建一個新的RDB文件時,程序會對數據庫中的鍵進行檢查,已過期的鍵不會被保存到新創建的RDB文件中。
舉個例子,如果數據庫中包含三個鍵k1、k2、k3,並且k2已經過期,那么當執行SAVE命令或者BGSAVE命令時,程序只會將k1和k3的數據保存到RDB文件中,而k2則會被忽略。
因此,數據庫中包含過期鍵不會對生成新的RDB文件造成影響。

可參考rdb.c中函數rdbSave()函數源碼:

 /* Iterate this DB writing every entry 
         *
         * 遍歷數據庫,並寫入每個鍵值對的數據
         */
        while((de = dictNext(di)) != NULL) {
            sds keystr = dictGetKey(de);
            robj key, *o = dictGetVal(de);
            long long expire;
            
            // 根據 keystr ,在棧中創建一個 key 對象
            initStaticStringObject(key,keystr);

            // 獲取鍵的過期時間
            expire = getExpire(db,&key);

            // 保存鍵值對數據
            if (rdbSaveKeyValuePair(&rdb,&key,o,expire,now) == -1) goto werr;
        }

 

rdbSaveKeyValuePair函數實現如下:
/* Save a key-value pair, with expire time, type, key, value.
 *
 * 將鍵值對的鍵、值、過期時間和類型寫入到 RDB 中。
 *
 * On error -1 is returned.
 *
 * 出錯返回 -1 。
 *
 * On success if the key was actually saved 1 is returned, otherwise 0
 * is returned (the key was already expired). 
 *
 * 成功保存返回 1 ,當鍵已經過期時,返回 0 。
 */
int rdbSaveKeyValuePair(rio *rdb, robj *key, robj *val,
                        long long expiretime, long long now)
{
    /* Save the expire time 
     *
     * 保存鍵的過期時間
     */
    if (expiretime != -1) {
        /* If this key is already expired skip it 
         *
         * 不寫入已經過期的鍵
         */
        if (expiretime < now) return 0;

        if (rdbSaveType(rdb,REDIS_RDB_OPCODE_EXPIRETIME_MS) == -1) return -1;
        if (rdbSaveMillisecondTime(rdb,expiretime) == -1) return -1;
    }
    /* Save type, key, value 
     *
     * 保存類型,鍵,值
     */
    if (rdbSaveObjectType(rdb,val) == -1) return -1;
    if (rdbSaveStringObject(rdb,key) == -1) return -1;
    if (rdbSaveObject(rdb,val) == -1) return -1;
    return 1;
}

 

載入RDB文件

在啟動Redis服務器時,如果服務器開啟了RDB功能,那么服務器將對RDB文件進行載入:

  • 如果服務器以主服務器模式運行,那么在載入RDB文件時,程序會對文件中保存的鍵進行檢查,未過期的鍵會被載入到數據庫中,而過期鍵則會被忽略,所以過期鍵對載入RDB文件的主服務器不會造成影響;
  • 如果服務器以從服務器模式運行,那么在載入RDB文件時,文件中保存的所有鍵,不論是否過期,都會被載入到數據庫中。不過,因為主從服務器在進行數據同步的時候,從服務器的數據庫就會被清空,所以一般來講,過期鍵對載入RDB文件的從服務器也不會造成影響;

這部分代碼可以查看rdb.c中rdbLoad()函數源碼:

/* Check if the key already expired. This function is used when loading
         * an RDB file from disk, either at startup, or when an RDB was
         * received from the master. In the latter case, the master is
         * responsible for key expiry. If we would expire keys here, the
         * snapshot taken by the master may not be reflected on the slave. 
         *
         * 如果服務器為主節點的話,
         * 那么在鍵已經過期的時候,不再將它們關聯到數據庫中去
         */
        if (server.masterhost == NULL && expiretime != -1 && expiretime < now) {
            decrRefCount(key);
            decrRefCount(val);
            // 跳過
            continue;
        }

 

AOF文件寫入

當服務器以AOF持久化模式運行時,如果數據庫中的某個鍵已經過期,但它還沒有被惰性刪除或者定期刪除,那么AOF文件不會因為這個過期鍵而產生任何影響。

當過期鍵被惰性刪除或者定期刪除之后,程序會向AOF文件追加(append)一條DEL命令,來顯式地記錄該鍵已被刪除。
舉個例子,如果客戶端使用GET message命令,試圖訪問過期的message鍵,那么服務器將執行以下三個動作:
1)從數據庫中刪除message鍵。
2)追加一條DEL message命令到AOF文件。(根據AOF文件增加的特點,AOF只有在客戶端進行請求的時候才會有這個DEL操作)
3)向執行GET命令的客戶端返回空回復。

這部分就是Redis中的惰性刪除策略中expireIfNeeded函數的使用。關於惰性刪除策略這一部分在Redis惰性刪除策略一篇中有講。所以這里就不贅述了。

需要提示一下的是:expireIfNeeded函數是在db.c/lookupKeyRead()函數中被調用,lookupKeyRead函數用於在執行讀取操作時取出鍵key在數據庫db中的值。

 AOF重寫

和生成RDB文件時類似,在執行AOF重寫的過程中,程序會對數據庫中的鍵進行檢查,已過期的鍵不會被保存到重寫后的AOF文件中。

舉個例子,如果數據庫中包含三個鍵k1、k2、k3,並且k2已經過期,那么在進行重寫工作時,程序只會對k1和k3進行重寫,而k2則會被忽略。

這一部分如果掌握了AOF重寫的方法的話,那就自然理解了。

復制

當服務器運行在復制模式下時,從服務器的過期鍵刪除動作由主服務器控制:

  • 主服務器在刪除一個過期鍵之后,會顯式地向所有從服務器發送一個DEL命令,告知從服務器刪除這個過期鍵
  • 從服務器在執行客戶端發送的讀命令時,即使碰到過期鍵也不會將過期鍵刪除,而是繼續像處理未過期的鍵一樣來處理過期鍵;
  • 從服務器只有在接到主服務器發來的DEL命令之后,才會刪除過期鍵。

舉個例子,有一對主從服務器,它們的數據庫中都保存着同樣的三個鍵message、xxx和yyy,其中message為過期鍵,如圖所示

如果這時有客戶端向從服務器發送命令GET message,那么從服務器將發現message鍵已經過期,但從服務器並不會刪除message鍵,而是繼續將message鍵的值返回給客戶端,就好像message鍵並沒有過期一樣。

假設在此之后,有客戶端向主服務器發送命令GET message,那么主服務器將發現鍵message已經過期:主服務器會刪除message鍵,向客戶端返回空回復,並向從服務器發送DEL message命令,如圖所示:

從服務器在接收到主服務器發來的DEL message命令之后,也會從數據庫中刪除message鍵,在這之后,主從服務器都不再保存過期鍵message了,如圖所示:


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM