Linux 文件系統同步

　　同步就是將物理內存中dirty的頁寫入到磁盤中，保證磁盤和物理頁之間的內容一致。

　　觸發同步操作的時機：

　　1、周期性內核線程，掃描臟頁，根據一定的規則選擇臟頁，將頁寫回到磁盤。

　　2、如果內核中的臟頁過多，會觸發同步

　　3、內核中其它組件觸發同步操作（如sync、fsync和fdatasync等函數調用）

　　傳統的UNIX實現在內核中設有緩沖區高速緩存或頁面高速緩存，大多數磁盤I/O都通過緩沖進行。當將數據寫入文件時，內核通常先將該數據復制到其中一個緩沖區中，如果該緩沖區尚未寫滿，則並不將其排入輸出隊列，而是等待其寫滿或者當內核需要重用該緩沖區以便存放其他磁盤塊數據時，再將該緩沖排入輸出隊列，然后待其到達隊首時，才進行實際的I/O操作。這種輸出方式被稱為延遲寫（delayed write）（Bach [1986]第3章詳細討論了緩沖區高速緩存）。

　　延遲寫減少了磁盤讀寫次數，但是卻降低了文件內容的更新速度，使得欲寫到文件中的數據在一段時間內並沒有寫到磁盤上。當系統發生故障時，這種延遲可能造成文件更新內容的丟失。為了保證磁盤上實際文件系統與緩沖區高速緩存中內容的一致性，UNIX系統提供了sync、fsync和fdatasync三個函數。

　　sync函數或者命令：只是將所有修改過的塊緩沖區排入寫隊列，然后就返回，它並不等待實際寫磁盤操作結束。通常稱為update的系統守護進程會周期性地（一般每隔30秒）調用sync函數。這就保證了定期沖洗內核的塊緩沖區。命令sync(1)也調用sync函數。linux默認情況下幾乎所有應用場合都是不會將文件立馬保存入磁盤的，在嵌入式上也是同樣的表現，如果mount時候加上sync選項就可以保證數據立馬寫入，但是這種會造成系統較多的寫入磁盤，磁盤的壽命就不會太長了，如果是需要保存數據，可以顯式調用命令sync來寫入所有文件，或者fsync來保存某個文件。unix系統運行經驗表明，為確保可靠起見，應執行兩遍sync命令，這是因為sync命令完成時，並不保證信息實際寫到了磁盤上，雖然已經執行了一遍這個命令，cp 完之后要執行 sync 命令將緩沖區的內容寫到磁盤中。

　　fsync函數只對由文件描述符filedes指定的單一文件起作用，並且等待寫磁盤操作結束，然后返回。fsync可用於數據庫這樣的應用程序，這種應用程序需要確保將修改過的塊立即寫到磁盤上。

　　fdatasync函數類似於fsync，但它只影響文件的數據部分。而除數據外，fsync還會同步更新文件的屬性。

　　對於提供事務支持的數據庫，在事務提交時，都要確保事務日志（包含該事務所有的修改操作以及一個提交記錄）完全寫到硬盤上，才認定事務提交成功並返回給應用層。

　　一個簡單的問題：在*nix操作系統上，怎樣保證對文件的更新內容成功持久化到硬盤？

　　write不夠，需要fsync

　　一般情況下，對硬盤（或者其他持久存儲設備）文件的write操作，更新的只是內存中的頁緩存（page cache），而臟頁面不會立即更新到硬盤中，而是由操作系統統一調度，如由專門的flusher內核線程在滿足一定條件時（如一定時間間隔、內存中的臟頁達到一定比例）內將臟頁面同步到硬盤上（放入設備的IO請求隊列）。

　　因為write調用不會等到硬盤IO完成之后才返回，因此如果OS在write調用之后、硬盤同步之前崩潰，則數據可能丟失。雖然這樣的時間窗口很小，但是對於需要保證事務的持久化（durability）和一致性（consistency）的數據庫程序來說，write()所提供的“松散的異步語義”是不夠的，通常需要OS提供的同步IO（synchronized-IO）原語來保證：

1 #include <unistd.h>
2 int fsync(int fd);

　　fsync的功能是確保文件fd所有已修改的內容已經正確同步到硬盤上，該調用會阻塞等待直到設備報告IO完成。

 

　　PS：如果采用內存映射文件的方式進行文件IO（使用mmap，將文件的page cache直接映射到進程的地址空間，通過寫內存的方式修改文件），也有類似的系統調用來確保修改的內容完全同步到硬盤之上：

1 #incude <sys/mman.h>
2 int msync(void *addr, size_t length, int flags)

　　msync需要指定同步的地址區間，如此細粒度的控制似乎比fsync更加高效（因為應用程序通常知道自己的臟頁位置），但實際上（Linux）kernel中有着十分高效的數據結構，能夠很快地找出文件的臟頁，使得fsync只會同步文件的修改內容。

　　fsync的性能問題，與fdatasync

　　除了同步文件的修改內容（臟頁），fsync還會同步文件的描述信息（metadata，包括size、訪問時間st_atime & st_mtime等等），因為文件的數據和metadata通常存在硬盤的不同地方，因此fsync至少需要兩次IO寫操作，fsync的man page這樣說：

　　"Unfortunately fsync() will always initialize two write operations : one for the newly written data and another one in order to update the modification time stored in the inode. If the modification time is not a part of the transaction concept fdatasync() can be used to avoid unnecessary inode disk write operations."

　　多余的一次IO操作，有多么昂貴呢？根據Wikipedia的數據，當前硬盤驅動的平均尋道時間（Average seek time）大約是3~15ms，7200RPM硬盤的平均旋轉延遲（Average rotational latency）大約為4ms，因此一次IO操作的耗時大約為10ms左右。這個數字意味着什么？下文還會提到。

　　Posix同樣定義了fdatasync，放寬了同步的語義以提高性能：

1 #include <unistd.h>
2 int fdatasync(int fd);

　　fdatasync的功能與fsync類似，但是僅僅在必要的情況下才會同步metadata，因此可以減少一次IO寫操作。那么，什么是“必要的情況”呢？根據man page中的解釋：

　　"fdatasync does not flush modified metadata unless that metadata is needed in order to allow a subsequent data retrieval to be corretly handled."

　　舉例來說，文件的尺寸（st_size）如果變化，是需要立即同步的，否則OS一旦崩潰，即使文件的數據部分已同步，由於metadata沒有同步，依然讀不到修改的內容。而最后訪問時間(atime)/修改時間(mtime)是不需要每次都同步的，只要應用程序對這兩個時間戳沒有苛刻的要求，基本無傷大雅。

 

　　PS：open時的參數O_SYNC/O_DSYNC有着和fsync/fdatasync類似的語義：使每次write都會阻塞等待硬盤IO完成。（實際上，Linux對O_SYNC/O_DSYNC做了相同處理，沒有滿足Posix的要求，而是都實現了fdatasync的語義）相對於fsync/fdatasync，這樣的設置不夠靈活，應該很少使用。

 

　　使用fdatasync優化日志同步

 

　　文章開頭時已提到，為了滿足事務要求，數據庫的日志文件是常常需要同步IO的。由於需要同步等待硬盤IO完成，所以事務的提交操作常常十分耗時，成為性能的瓶頸。

　　在Berkeley DB下，如果開啟了AUTO_COMMIT（所有獨立的寫操作自動具有事務語義）並使用默認的同步級別（日志完全同步到硬盤才返回），寫一條記錄的耗時大約為5~10ms級別，基本和一次IO操作（10ms）的耗時相同。

　　我們已經知道，在同步上fsync是低效的。但是如果需要使用fdatasync減少對metadata的更新，則需要確保文件的尺寸在write前后沒有發生變化。日志文件天生是追加型（append-only）的，總是在不斷增大，似乎很難利用好fdatasync。

 

　　且看Berkeley DB是怎樣處理日志文件的：

　　1.每個log文件固定為10MB大小，從1開始編號，名稱格式為“log.%010d"
　　2.每次log文件創建時，先寫文件的最后1個page，將log文件擴展為10MB大小
　　3.向log文件中追加記錄時，由於文件的尺寸不發生變化，使用fdatasync可以大大優化寫log的效率
　　4.如果一個log文件寫滿了，則新建一個log文件，也只有一次同步metadata的開銷

　　另外兩個命令：async（IO異步），rsync（遠程同步）。

　　Rsync 是一個小巧的算法的強大實現。它最基本的功能是高效地鏡像一個文件系統的能力。使用 rsync，可以靈活地選用一組網絡協議，諸如 nfs、smb 或ssh，方便地讓一個文件系統與另一個文件系統保持同步更新。Rsync 的第二個功能，也就是備份系統使用的功能，它可以把已經發生改變或是被刪除的文件的老的版本歸檔。　　

　　Rsync 是一個遠程數據同步工具，可通過LAN/WAN快速同步多台主機間的文件。Rsync本來是用以取代rcp的一個工具，它當前由rsync.samba.org維護。Rsync使用所謂的“Rsync演算法”來使本地和遠程兩個主機之間的文件達到同步，這個算法只傳送兩個文件的不同部分，而不是每次都整份傳送，因此速度相當快。運行Rsync server的機器也叫backup server，一個Rsyncserver可同時備份多個client的數據；也可以多個Rsync server備份一個client的數據。
　　Rsync可以搭配rsh或ssh甚至使用daemon模式。Rsync server會打開一個873的服務通道(port)，等待對方Rsync連接。連接時，Rsyncserver會檢查口令是否相符，若通過口令查核，則可以開始進行文件傳輸。第一次連通完成時，會把整份文件傳輸一次，下一次就只傳送二個文件之間不同的部份。
　　Rsync支持大多數的類Unix系統，無論是Linux、Solaris還是BSD上都經過了良好的測試。此外，它在windows平台下也有相應的版本，比較知名的有cwRsync和Sync2NAS。

　　Rsync的基本特點如下：
　　1.可以鏡像保存整個目錄樹和文件系統；
　　2.可以很容易做到保持原來文件的權限、時間、軟硬鏈接等；
　　3.無須特殊權限即可安裝；
　　4.優化的流程，文件傳輸效率高；
　　5.可以使用rcp、ssh等方式來傳輸文件，當然也可以通過直接的socket連接；
　　6.支持匿名傳輸。

　　命令語法

　　rsync的命令格式可以為以下六種：

rsync [OPTION]… SRC DEST
rsync [OPTION]… SRC [USER@]HOST:DEST
rsync [OPTION]… [USER@]HOST:SRC DEST
rsync [OPTION]… [USER@]HOST::SRC DEST
rsync [OPTION]… SRC [USER@]HOST::DEST
rsync [OPTION]… rsync://[USER@]HOST[:PORT]/SRC [DEST]

　　對應於以上六種命令格式，rsync有六種不同的工作模式：
　　1)拷貝本地文件。當SRC和DES路徑信息都不包含有單個冒號”:”分隔符時就啟動這種工作模式。
　　2)使用一個遠程shell程序（如rsh、ssh）來實現將本地機器的內容拷貝到遠程機器。當DST路徑地址包含單個冒號”:”分隔符時啟動該模式。
　　3)使用一個遠程shell程序（如rsh、ssh）來實現將遠程機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號”:”分隔符時啟動該模式。
　　4)從遠程rsync服務器中拷貝文件到本地機。當SRC路徑信息包含”::”分隔符時啟動該模式。
　　5)從本地機器拷貝文件到遠程rsync服務器中。當DST路徑信息包含”::”分隔符時啟動該模式。
　　6)列遠程機的文件列表。這類似於rsync傳輸，不過只要在命令中省略掉本地機信息即可。