引言:ext3 和 ext4 對 ext2 進行了增強,但是其核心設計並沒有發生變化。所以建議先查看上上篇的《存儲系列之 Linux ext2 概述 》,有了ext2的基礎,看這篇就是so easy了。所以這篇約70%來自轉載+整理,當然整理也是需要花時間的,原則是盡量簡單化。最近參加過幾場一個在線教育平台的公開課,有句名言“架構就是把復雜的事情簡單化,把簡單的事情做沒了”,非常贊同,而且我認為不管是架構,還是解決問題,還是現在的寫文檔,都合適。開始進入干貨時間。
一、日志文件系統
1、日志文件系統的提出
(1)EXT2文件系統在異常關機后,再開機后會造成文件系統的數據不一致,這時必須做文件系統的修復工作,將不一致與錯誤的地方修復。然而,此工作相當耗時的,特別是容量大的文件系統,而且也不能百分之百保證所有的數據都不會流失。
(2)CPU速度越來越快,RAM內存越來越大,磁盤高速緩存的容量迅速增加。因此對於大多數的讀操作請求來說,有可能直接從高速緩存中得到滿足,而不必去真正訪問磁盤。
這樣為了解決問題、順應時代的發展,人們設計了“日志式文件系統 (Journal File System,JFS)” 。
而ext3就是在ext2的基礎上增加了這種日志功能。
JFS最大的特點是,它會將整個磁盤的寫入動作完整記錄在磁盤的某個區域上,以便有需要時可以回溯追蹤。
2、三種日志模式
(1)日記,Journal
(2)順序,Ordered
(3)回寫,Writeback
二、ext3的特點
1、高可用性
宕機發生后,恢復ext3文件系統的時間只要數十秒鍾。
2、數據的完整性:
ext3文件系統能夠極大地提高文件系統的完整性,避免了意外宕機對文件系統的破壞。
在保證數據完整性方面,ext3文件系統有2種模式可供選擇。其中之一就是“同時保持文件系統及數據的一致性”模式。
采用這種方式,你永遠不再會看到由於非正常關機而存儲在磁盤上的垃圾文件。
3、文件系統的速度:
盡管使用ext3文件系統時,有時在存儲數據時可能要多次寫數據,但是,從總體上看來,ext3比ext2的性能還要好一些。
這是因為ext3的日志功能對磁盤的驅動器讀寫頭進行了優化。所以,文件系統的讀寫性能較之Ext2文件系統並來說,性能並沒有降低。
4、數據轉換
由ext2文件系統轉換成ext3文件系統非常容易,只要簡單地鍵入兩條命令即可完成整個轉換過程,用戶不用花時間備份、恢復、格式化分區等。
用一個ext3文件系統提供的小工具tune2fs,它可以將ext2文件系統輕松轉換為ext3日志文件系統。另外,ext3文件系統可以不經任何更改,而直接加載成為ext2文件系統。
5、多種日志模式
Ext3有多種日志模式,一種工作模式是對所有的文件數據及metadata(定義文件系統中數據的數據,即數據的數據)進行日志記錄(data=journal模式);
另一種工作模式則是只對metadata記錄日志,而不對數據進行日志記錄,也即所謂data=ordered或者data=writeback模式。
系統管理人員可以根據系統的實際工作要求,在系統的工作速度與文件數據的一致性之間作出選擇。
三、ext4特點
Linux kernel 自2008年的2.6.28 開始正式支持新的文件系統 Ext4。
Ext4 是 Ext3 的改進版,修改了 Ext3 中部分重要的數據結構,而不僅僅像 Ext3 對 Ext2 那樣,只是增加了一個日志功能而已。
Ext4 可以提供更佳的性能和可靠性,還有更為豐富的功能:
1. 與 Ext3 兼容。
執行若干條命令,就能從 Ext3 在線遷移到 Ext4,而無須重新格式化磁盤或重新安裝系統。
原有 Ext3 數據結構照樣保留,Ext4 作用於新數據,當然,整個文件系統因此也就獲得了 Ext4 所支持的更大容量。
2. 更大的文件系統和更大的文件。
較之 Ext3 目前所支持的最大 16TB 文件系統和最大 2TB 文件,Ext4 分別支持 1EB(1,048,576TB, 1EB=1024PB, 1PB=1024TB)的文件系統,以及 16TB 的文件。
3. 無限數量的子目錄。
Ext3 目前只支持 32,000 個子目錄,而 Ext4 支持無限數量的子目錄。
4. Extents。
Ext3 采用間接塊映射,當操作大文件時,效率極其低下。比如一個 100MB 大小的文件,在 Ext3 中要建立 25,600 個數據塊(每個數據塊大小為 4KB)的映射表。
而 Ext4 引入了現代文件系統中流行的 extents 概念,每個 extent 為一組連續的數據塊,上述文件則表示為“該文件數據保存在接下來的 25,600 個數據塊中”,提高了不少效率。
5. 多塊分配。
當寫入數據到 Ext3 文件系統中時,Ext3 的數據塊分配器每次只能分配一個 4KB 的塊,寫一個 100MB 文件就要調用 25,600 次數據塊分配器,而 Ext4 的多塊分配器“multiblock allocator”(mballoc) 支持一次調用分配多個數據塊。
6. 延遲分配。
Ext3 的數據塊分配策略是盡快分配,而 Ext4 和其它現代文件操作系統的策略是盡可能地延遲分配,直到文件在 cache 中寫完才開始分配數據塊並寫入磁盤,這樣就能優化整個文件的數據塊分配,與前兩種特性搭配起來可以顯著提升性能。
7. 快速 fsck。
以前執行 fsck 第一步就會很慢,因為它要檢查所有的 inode,現在 Ext4 給每個組的 inode 表中都添加了一份未使用 inode 的列表,今后 fsck Ext4 文件系統就可以跳過它們而只去檢查那些在用的 inode 了。
8. 日志校驗。
日志是最常用的部分,也極易導致磁盤硬件故障,而從損壞的日志中恢復數據會導致更多的數據損壞。
Ext4 的日志校驗功能可以很方便地判斷日志數據是否損壞,而且它將 Ext3 的兩階段日志機制合並成一個階段,在增加安全性的同時提高了性能。
9. “無日志”(No Journaling)模式。
日志總歸有一些開銷,Ext4 允許關閉日志,以便某些有特殊需求的用戶可以借此提升性能。
10. 在線碎片整理。
盡管延遲分配、多塊分配和 extents 能有效減少文件系統碎片,但碎片還是不可避免會產生。
Ext4 支持在線碎片整理,並將提供 e4defrag 工具進行個別文件或整個文件系統的碎片整理。
11. inode 相關特性。
Ext4 支持更大的 inode,較之 Ext3 默認的 inode 大小 128 字節,Ext4 為了在 inode 中容納更多的擴展屬性(如納秒時間戳或 inode 版本),默認 inode 大小為 256 字節。Ext4 還支持快速擴展屬性(fast extended attributes)和 inode 保留(inodes reservation)。
12. 持久預分配(Persistent preallocation)。
P2P 軟件為了保證下載文件有足夠的空間存放,常常會預先創建一個與所下載文件大小相同的空文件,以免未來的數小時或數天之內磁盤空間不足導致下載失敗。
Ext4 在文件系統層面實現了持久預分配並提供相應的 API(libc 中的 posix_fallocate()),比應用軟件自己實現更有效率。
13. 默認啟用 barrier。
磁盤上配有內部緩存,以便重新調整批量數據的寫操作順序,優化寫入性能,因此文件系統必須在日志數據寫入磁盤之后才能寫 commit 記錄。(若 commit 記錄寫入在先,而日志有可能損壞,那么就會影響數據完整性。)
Ext4 默認啟用 barrier,只有當 barrier 之前的數據全部寫入磁盤,才能寫 barrier 之后的數據。(可通過 "mount -o barrier=0" 命令禁用該特性。)(也可以參考:是否關閉barrier)

(圖片來自:Ext4中兩種不同類型的塊組。其中,GDT全局描述符和LDT局部描述符跟內部緩存相關,后續文章再講解。)
參考資料:
https://blog.csdn.net/macrossdzh/article/details/5973639(ext2、ext3與ext4的區別)
《操作系統設計與實現》第三版 上冊

