詳解Linux虛擬文件系統

目錄

• 一、what's the 虛擬文件系統（VFS：virtual filesystem）

• 二、what's the 通用文件模型

• 三、目錄樹的構建

• 四、文件 & 磁盤管理

• 五、文件 & 進程管理

• 六、實際例子

 

一、what's the 虛擬文件系統（virtual filesystem）

　　Linux 操作系統中負責文件管理的基本組件。上半區域為用戶模式，下半區域為內核模式。應用程序使用標准庫 libc 訪問文件，庫將請求映射到系統調用，以便進入內核模式。

　　所有與文件相關的操作的入口都是虛擬文件系統（VFS），而非特定的額文件系統（如Ext3、ReiserFS和NFS）。VFS 提供了系統庫和特定文件系統之間的接口。因此，VFS 不僅充當抽象層，而且實際上它提供了一個文件系統的基本實現，可以由不同的實現來使用和擴展。因此，要了解文件系統是如何工作的，就要先了解VFS 。

 

二、what's the 通用文件模型

　　VFS 的主要思想在於引入了一個通用文件模型（common file model）。通用文件模型由以下對象類型組成：

• 超級塊對象（superblock object）：
  • 內存：文件系統安裝時創建，存放文件系統的有關信息
  • 磁盤：對應於存放在磁盤上的文件系統控制塊（filesystem control block）
• 索引節點對象（inode object）：
  • 內存：訪問時創建，存放關於具體文件的一般信息（inode 結構）
  • 磁盤：對應於存放在磁盤上的文件控制塊（file control block）
  • 每個索引節點對象都有一個索引節點號，唯一地標識文件系統的文件
• 文件對象（file object）：
  • 內存：打開文件時創建，存放 打開文件 與進程之間進行交互的有關信息（file 結構）
  • 打開文件信息，僅當進程訪問文件期間存在於內核內存中。
• 目錄項對象（dentry object）：
  • 內存：目錄項一旦被讀入內存，VFS就會將其轉換成dentry 結構的目錄項對象
  • 磁盤：特定文件系統以特定的方式存儲在磁盤上
  • 存放目錄項（即，文件名稱）與對應文件進行鏈接的有關信息

 

 

 

三、目錄樹

　　綜合來說，Linux 的 根文件系統(system’s root filessystem) 是內核啟動 mount 的第一個文件系統。內核代碼映像文件保存在根文件系統中，而系統引導啟動程序會在根文件系統掛載之后，從中把一些基本的初始化腳本和服務等加載到內存中去運行（文件系統和內核是完全獨立的兩個部分）。其他文件系統，則后續通過腳本或命令作為子文件系統安裝在已安裝文件系統的目錄上，最終形成整個目錄樹。

　　就單個文件系統而言，在文件系統安裝時，創建超級塊對象；沿樹查找文件時，總是首先從初識目錄的中查找匹配的目錄項，以便獲取相應的索引節點，然后讀取索引節點的目錄文件，轉化為 dentry 對象，再檢查匹配的目錄項，反復執行以上過程，直至找到對應的文件的索引節點，並創建索引節點對象。

 

軟鏈接 vs 硬鏈接

　　軟鏈接是一個普通的文件，其中存放的是另外一個文件的路徑名。硬鏈接則指向同一個索引節點，硬鏈接數記錄在索引節點對象的 i_nlink 字段。當 i_nlink 字段為零時，說明沒有硬鏈接指向該文件。

 

四、文件 & 磁盤管理

　　文件與磁盤管理聯系最緊密的操作，莫過於 touch 和 rm 操作，而尤以后者最為關鍵。通過 strace (或 dtruss)，查看 rm 的實際的系統調用，可以發現 rm 實際是通過 unlink 完成的。unlink 代表刪除目錄項，以及減少其索引節點的計數。由通用文件模型可知，父目錄本身同樣是一個文件，也就意味着目錄項是其文件數據的一部分。刪除目錄項等價於從父目錄的文件中刪除數據，也就意味着首先要打開父目錄的文件。

# dtruss rm tmp
...
geteuid(0x0, 0x0, 0x0)       = 0 0
ioctl(0x0, 0x4004667A, 0x7FFEE06F09C4)       = 0 0
lstat64("tmp\0", 0x7FFEE06F0968, 0x0)        = 0 0
access("tmp\0", 0x2, 0x0)        = 0 0
unlink("tmp\0", 0x0, 0x0)        = 0 0

那么，刪除操作即可理解為：

1. 刪除命令（一個進程）使用 open 操作獲得父目錄文件對象

2. 通過 iget 增加 目錄文件的索引節點對象計數

3. 讀取目錄文件數據

• 將目錄文件數據轉化為目錄項對象

• 由於目錄項包含文件的索引節點，類似的，需要通過 iget 增加文件的索引節點對象計數

4. 刪除目錄的目錄項

5. 減少文件索引節點對象的硬鏈接計數i_nlink

6. 通過 iput 結束對文件索引節點對象的操作，使用計數 i_count 減一

• 判斷i_count是否為零，如果為零，則釋放內存

• 然后，判斷i_nlink是否為零，如果為零，則釋放磁盤空間

7. 通過 iput 結束對目錄索引節點對象的操作。

 

五、文件 & 進程管理

　　下圖是一個簡單示例，說明進程是怎樣與文件進行交互。三個不同進程打開同一個文件，每個進程都有自己的文件對象，其中兩個進程使用同一個硬鏈接（每個硬鏈接對應一個目錄對象），兩個目錄項對象都指向同一個 索引節點對象。

 

　　索引節點的數據又由兩部分組成：內存數據和磁盤數據。Linux 使用 Write back 作為索引節點的數據一致性策略。對於索引節點的數據，當文件被打開時，才會加載索引節點到內存；當不再被進程使用，則從內存踢出；如果中間有更新，則需要把數據寫回磁盤。

　　索引節點是否仍在使用，是通過 open() 和 close() 操作建立和銷毀文件對象，文件對象通過索引節點提供的 iget 和 iput  更新索引節點的i_count字段，以完成使用計數。open 操作使得 i_count 加一， close 操作使得 i_count 減一。在 close 操作時判斷索引節點是否釋放，如果 i_count = 0，則意味着不再有進程引用，將會從內存釋放。

 

 

六、實際例子

　　有時會出現這樣的情況，磁盤空間顯示已經被占滿，但是在查看磁盤的具體文件占用情況時，發現磁盤仍然有很大的空余空間。

1.執行df命令查看磁盤使用情況，發現磁盤已經滿了。

-bash-4.2$ df -Th
Filesystem     Type      Size  Used Avail Use% Mounted on
/dev/vda1      ext4       30G    30G 0      100% /
devtmpfs       devtmpfs  489M     0  489M   0% /dev
tmpfs          tmpfs     497M     0  497M   0% /dev/shm
tmpfs          tmpfs     497M   50M  447M  11% /run
tmpfs          tmpfs     497M     0  497M   0% /sys/fs/cgroup

2.執行 du 命令查看各個目錄的磁盤占用情況，把各個目錄文件的大小相加，發現並沒有占滿磁盤，有 10 多 G 空間莫名失蹤。

-bash-4.2$ du -h --max-depth=1 /home16M /home/logs11G /home/serverdog11G /home

3.為何會出現這樣的情況呢？ 因為雖然文件已被刪除，但是一些進程仍然打開這些文件，因此其占用的磁盤空間並沒有被釋放。執行 lsof 命令顯示打開已刪除的文件。將有問題的進程重啟（或，清空），磁盤空間就會得到釋放。

-bash-4.2# lsof | grep deletemysqld     2470         mysql    4u      REG              253,1           0     523577 /var/tmp/ibfTeQFn (deleted)
mysqld     2470         mysql    5u      REG              253,1           0     523579 /var/tmp/ibaHcIdW (deleted)
mysqld     2470         mysql    6u      REG              253,1           0     523581 /var/tmp/ibLjiALu (deleted)
mysqld     2470         mysql    7u      REG              253,1           0     523585 /var/tmp/ibCFnzTB (deleted)
mysqld     2470         mysql   11u      REG              253,1           0     523587 /var/tmp/ibCjuqva (deleted)

Why lsof ?

　　從上面的模型可以很清楚的理解，因為目錄已經沒有索引到文件了，但是打開文件還有索引到文件，所以不能立刻釋放磁盤空間。為什么 lsof 可以找到已刪除未釋放的文件呢？lsof，顧名思義：list open files，該命令的原理就是查找打開文件的列表，因此可以找到已刪除未釋放的文件。

 

緩存策略

　　由於操作系統使用 Write back 的策略，意味着只有先釋放內存，才有可能釋放磁盤。

 

索引與數據

　　文件系統與文件、磁盤管理與文件、進程管理與文件，最核心的都是文件的索引，而不是文件的數據。把數據和索引分開是理解文件系統的關鍵。

 

 

 

 

 

 

 

 

參考：從 lsof 開始，深入理解 Linux 虛擬文件系統