redis數據結構存儲Dict設計細節(redis的設計與實現筆記)


說到redis的Dict(字典),雖說算法上跟市面上一般的Dict實現沒有什么區別,但是redis的Dict有2個特殊的地方那就是它的rehash(重新散列)和它的字典節點單向鏈表。

以下是dict用到的結構:

typedef struct dictEntry {//字典的節點  
    void *key;  
    union {//使用的聯合體  
        void *val;  
        uint64_t u64;//這兩個參數很有用  
        int64_t s64;  
    } v;  
    struct dictEntry *next;//下一個節點指針  
} dictEntry;  
  
typedef struct dictType {  
    unsigned int (*hashFunction)(const void *key); //hash函數指針  
    void *(*keyDup)(void *privdata, const void *key); //鍵復制函數指針  
    void *(*valDup)(void *privdata, const void *obj); //值復制函數指針  
    int (*keyCompare)(void *privdata, const void *key1, const void *key2); //鍵比較函數指針  
    void (*keyDestructor)(void *privdata, void *key); //鍵構造函數指針  
    void (*valDestructor)(void *privdata, void *obj); //值構造函數指針  
} dictType;  
  
/* This is our hash table structure. Every dictionary has two of this as we 
 * implement incremental rehashing, for the old to the new table. */  
typedef struct dictht { //字典hash table  
    dictEntry **table;//可以看做字典數組,俗稱桶bucket  
    unsigned long size; //指針數組的大小,即桶的層數  
    unsigned long sizemask;  
    unsigned long used; //字典中當前的節點數目  
} dictht;  
  
typedef struct dict {  
    dictType *type;  
    void *privdata; //私有數據  
    dictht ht[2];   //兩個hash table  
    int rehashidx; /* rehashing not in progress if rehashidx == -1 */ //rehash 索引  
    int iterators; /* number of iterators currently running */ //當前該字典迭代器個數  
} dict;   

由於樓主算法能力有限:所以對哈希算法沒有太深的了解,所以在這里算法就不詳寫了,大家有興趣可以百度。

當運用哈希算法計算出 k0的索引 ,redis就會插入到指定的位置

當k2和k1出現計算出鍵索引相同的情況下,這時候redis的dictEntry(字典節點)有一個next屬性(單項鏈表),redis會把沖突鍵索引的元素排到后插入數據的前面,從而解決了這個問題

現在如果在插入2條元素,此時數據量已經超過dict的負載了,redis就會啟用rehash,雖然是rehash操作但是redis是采用了漸進式操作,並不是一下子內存不夠用了 就直接操作內存,然后全部轉移數據,這樣會導致操作很耗時,redis考慮到了這一點,然后

先把ht[1]另一張dict結構中擴容一個數量為ht[0].used*2的dictEntry數組,然后把2條數據通過哈希算法加入到這個數組中。

 

然后把上面的元素一個個異步漸漸移動到下面的數組中,在這個過程中如果客戶端去操作元素時,如果在ht[0]中檢查找不到建,就會去檢查ht[1]中是否有指定的鍵,從而不影響數據的使用,而且可以避免一次性操作rehash帶來的耗時問題,最后reshash完成了,就直接把ht[1]和ht[0]切換位置並且清空棄用的哈希節點數組,從而完成所有操作。

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM