Redis中持久化的兩種方法詳解


  Redis提供了兩種不同的持久化方法來將數據存儲到硬盤里面。一種方法叫快照(snapshotting),它可以將存在於某一時刻的所有數據都寫入硬盤里;另一種方法教只追加文件(append-only file, AOF),它會在執行的寫命令復制到硬盤里。這兩種方法可以自由搭配使用,具體如何選擇,需要根據用書的數據以及應用來決定。下面在Redis安裝目錄的redis.conf文件中查看下Redis默認的持久化配置:

  //SNAPSHOTTING

  save 900 1

  save 300 10

  save 60 10000stop-writes-on-bgsave-error yes

  rdbcompression yes

  rdbchecksum yes

  dbfilename dump.rdb

  dir ./

  //APPEND ONLY MODE

  appendonly no

  appendfilename "appendonly.aof"

  appendfsync everysecno-appendfsync-on-rewrite noauto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb

  aof-load-truncated yes

  可以看出默認開啟的時快照模式,AOF模式是關閉的,具體的配置項是什么意思后面再看,這里先了解下哪里可以修改配置以及Redis默認行為。

  快照持久化

  用戶可以將快照復制到其他服務器已達到備份的效果,也可以就將快照留在原地以便重啟服務器時使用,快照文件存在dbfilename選項指定的文件中,並存儲在dir指定的路徑,根據默認配置即./dump.rdb,如果在新的快照文件創建之前,Redis、操作系統或者硬件三者任意一個崩潰了,Redis會丟失最近一次創建快照之后寫入的所有數據。創建快照有以下幾種方式

  · 客戶端主動發送BGSAVE命令來創建一個快照,BGSAVE命令返回Background saving started,Redis是通過調用fork來創建子進程完成快照寫入硬盤的,父進程可以繼續響應命令請求。

  · 客戶端主動發送SAVE命令來創建一個快照,接到SAVE命令的Redis服務器在快照創建完畢之前將不再響應任何其他請求,此命令不常用。

  · 配置save選項,例如save 60 10000,那么從Redis最近一次創建快照之后開始算起,當”60秒之內有10000次寫入”這個條件被滿足時,Redis就會自動出發BGSAVE命令,如果設置了多個save配置選項,當任意一個滿足時,Redis就會出發BGSAVE。默認行為配置了三個闕值。

  · 當Redis通過SHUTDOWN命令接受到關閉服務器的請求時,或者接受到標准TERM信號時,會執行一個SAVE命令,阻塞所有客戶端,並在SAVE命令執行完畢之后關閉服務器。

  · 當一個Redis服務器連接另一個Redis服務器,並向對方發送SYNC命令開始一次復制操作的時候,如果主服務器沒有或者並非剛剛執行BGSAVE操作,那么主服務器就會執行BGSAVE命令。

  由於快照持久化會會在系統發生崩潰時丟失數據,因此只適用於那些即使丟失一部分數據葉不會造成問題的應用程序,如果不能接受這樣的損失,可以參考后面AOF持久化。下面列舉一些使用於快照持久化的場景

  1. 個人開發

  個人開發服務器上,考慮到降低快照持久化帶來的資源消耗,可以只設置sava 900 1,意思是距離上一次成功生成快照已經超過900秒,並且在此期間至少執行了一次寫入操作,Redis就會自動開始一次新的BGSAVE操作。

  2. 對日志進行聚合計算

  在處理日志的同時,記錄被處理日志的文件以及偏移量,如果Redis奔潰了而未能生成新的快照,可以從最后一次生成快照開始重新處理日志文件即可。

  3. 大數據

  當Redis存儲數據量只有幾個GB的時候,使用快照來保存數據是沒有問題的,生成快照的時間葉非常短。但隨着Redis占用的內存越來越多時,BGSAVE在創建子進程時耗費的時間也越來越多,所以選擇合適的創建快照方式以及妥善地處理可能出現的數據丟失,對快照持久化數據來說相當重要。

  AOF持久化

  簡單來說,AOF持久化會將被執行的寫命令寫到AOF文件的末尾,以此來記錄數據的變化。因此,Redis只要從頭到位重新執行一次AOF文件包含的所有命令,就可以恢復AOF文件所記錄的數據集。下面列舉appendfsync配置選項對AOF文件的同步頻率的影響:

  命令描述

  always:每個Reids寫命令都要同步寫入硬盤,這樣做會嚴重降低Redis的速度

  everysec:每秒執行一次同步,顯示地將多個寫命令同步到硬盤

  no:讓操作系統來決定應該何時進行同步

  注:這里稍微解釋下文件同步,在向硬盤寫入文件時,寫入內容首先會被存儲到緩沖區,然后由操作系統決定何時將緩沖區內容寫入到硬盤,這樣才算真正的寫入數據了。sync操作就是命令操作系統將文件同步到硬盤,同步操作會一直阻塞直到指定的文件被寫入硬盤為止。當同步操作執行完畢之后,即使系統出現故障,只要硬盤不壞,就不會對被同步的文件造成任何影響。

  appendfsync always選項是最安全同時也是最慢的,某些情況下還可能會影響固態硬盤的使用壽命,所以慎用!為了兼顧數據安全和寫入性能,可以考慮使用appendfsync everysec,也是Redis默認行為。Redis每秒同步一次AOF文件的性能和不適用任何持久化特性時的性能相差無幾,而每秒一次的同步,當系統出現故障時,也最多只會丟失一秒內產生的數據。appendfsync no選項是將寫入硬盤的決定權交給操作系統,如果硬盤的寫入速度不夠快,緩沖區被填滿時,Redis的寫入操作將被阻塞,從而導致Redis處理命令請求的速度變慢,所以appendfsync no也不推薦使用

  重寫/壓縮AOF文件

  AOF持久化看似很美好,有什么理由不使用呢?實際上並沒那么簡單,因為Redis會不斷地將被執行的寫命令記錄到AOF文件中,AOF文件的體積會越來越大,極端情況下可能會撐滿硬盤;另外一個問題是,Redis在重啟之后需要通過重新執行AOF文件記錄的所有寫命令來還原數據集,所以如果AOF文件的體積非常大,那么還原操作執行的時間就可能非常長。

  為了解決上述問題,可以向Redis發送BGREWRITEAOF命令,BGREWRITEAOF命令會通過移除AOF文件中的冗余命令來重寫AOF文件,使得AOF文件的體積變得盡可能的小。也可以設置auto-aof-rewrite-percentage和auto-aof-rewrite-min-size來自動觸發BGREWRITEAOF命令。Redis默認行為的意思是當AOF的體積大於64M,並且比上一次重寫之后的體積大了至少一倍(100%)的時候,Redis將執行BGREWRITEAOF命令。如果AOF重寫執行的國語頻繁的話,可以調整auto-aof-rewrite-percentage選項的值設置為100以上,讓Redis在AOF文件的體積變得更大之后才執行重寫操作。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM