Redis混合存儲產品是阿里雲自主研發的完全兼容Redis協議和特性的混合存儲產品。
通過將部分冷數據存儲到磁盤,在保證絕大部分訪問性能不下降的基礎上,大大降低了用戶成本並突破了內存對Redis單實例數據量的限制。
其中,對冷熱數據的識別和交換是混合存儲產品性能的關鍵因素。
在Redis混合存儲中,內存和磁盤的比例是用戶可以自由選擇的:
Redis混合存儲實例將所有的Key都認為是熱數據,以少量的內存為代價保證所有Key的訪問請求的性能是高效且一致的。而對於Value部分,在內存不足的情況下,實例本身會根據最近訪問時間,訪問頻度,Value大小等維度選取出部分value作為冷數據后台異步存儲到磁盤上直到內存小於制定閾值為止。
在Redis混合存儲實例中,我們將所有的Key都認為是熱數據保存在內存中是出於以下兩點考慮:
因此,Redis混合存儲實例的適用場景主要有以下兩種:
當內存不足時的情況下,實例會按照最近訪問時間,訪問頻度,value大小等維度計算出value的權重,將權重最低的value存儲到磁盤上並從內存中刪除。
偽代碼如下:
理想的情況下,我們當然希望能夠准確的計算出當前最冷的value。然而,value的冷熱程度根據訪問情況動態變化的,每次都重新計算所有value的冷熱權重的時間消耗是完全不可接受的。
Redis本身在內存滿的情況下會根據用戶設置的淘汰策略淘汰數據,而熱數據從內存寫到磁盤也可以認為是一種“淘汰”的過程。從性能,准確率以及用戶理解程度考慮,我們在冷熱數據識別時采用和Redis類似的近似計算方法,支持多種策略, 通過隨機采樣小部分數據來降低CPU和內存消耗,通過eviction pool利用采樣歷史信息來輔助提高准確率。
上圖為不同版本和不同采樣樣本數目配置下,Redis近似淘汰算法的命中率示意圖。王世傑淺灰色的點為被淘汰數據,灰色的點為未淘汰數據,綠色點為測試過程中新加入的數據。
Redis混合存儲在冷熱數據交換過程在后台IO線程中完成。
熱數據->冷數據
異步方式:
如果寫入流量過大,異步方式來不及換出數據,導致內存超出最大規格內存。主線程將直接執行數據換出任務,達到變相限流的目的。
冷數據->熱數據
異步方式:
在Lua腳本,具體命令執行階段,如果發現有value存儲在磁盤上,主線程將直接執行數據加載任務,保證Lua腳本和命令的語義不變。
Redis混合存儲型實例簡介
Redis混合存儲產品與架構介紹
作者:懷聽
文章來源:https://blog.csdn.net/rlnLo2pNEfx9c/article/details/81091547