linux inode 詳解 / 線上inode爆滿解決方案
本文大量參考阮一峰大神博客,整理筆記
之所以寫inode文章是由於一次線上問題,引發對inode深入的思考。
磁盤的inode監控與磁盤空間的監控同等重要,線上服務器一定要做好磁盤inode與磁盤空間的監控。
由於本人對linux研究有限,目前參考大量阮一峰大神博客整理而成。
解決inode爆滿問題
一般inode爆滿情況就較為嚴重了,程序運維會有問題,會報磁盤無空間 No space left on device。所以做好監控非常重要。
線上服務器inode爆滿但是磁盤空間還有很大是什么原因呢?其實就是小文件太多了,占用了所在磁盤的所有元數據空間,解決方案就是刪除這么小文件或者mv 掉這些小文件
如何排查哪個目錄占用inode多少了 可以用 df -i
如果刪除 直接用 rm -rf xxx 基本是行不通的 會報 Argument list too long 問題,就是要刪除的文件太多了。
我一般會用
find . -ctime +7 -name "*" | xargs -i rm -rf {}
大概解釋一下這個命令,刪除當前目錄下 7天前所有數據,如果還有 Argument list too long問題,就把時間適當調前一些,比如30天前 -ctime +30。
inode爆滿問題不好避免,再次強調磁盤的inode監控與磁盤空間的監控同等重要!
下面會介紹inode一些基礎知識
一、inode是什么?
理解inode,要從文件儲存說起。
文件儲存在硬盤上,硬盤的最小存儲單位叫做"扇區"(Sector)。每個扇區儲存512字節(相當於0.5KB)。
操作系統讀取硬盤的時候,不會一個個扇區地讀取,這樣效率太低,而是一次性連續讀取多個扇區,即一次性讀取一個"塊"(block)。這種由多個扇區組成的"塊",是文件存取的最小單位。"塊"的大小,最常見的是4KB,即連續八個 sector組成一個 block。
文件數據都儲存在"塊"中,那么很顯然,我們還必須找到一個地方儲存文件的元信息,比如文件的創建者、文件的創建日期、文件的大小等等。這種儲存文件元信息的區域就叫做inode,中文譯名為"索引節點"。每一個文件都有對應的inode,里面包含了與該文件有關的一些信息。
二、inode的內容
inode包含文件的元信息,具體來說有以下內容:
* 文件的字節數
* 文件擁有者的User ID
* 文件的Group ID
* 文件的讀、寫、執行權限
* 文件的時間戳,共有三個:ctime指inode上一次變動的時間,mtime指文件內容上一次變動的時間,atime指文件上一次打開的時間。
* 鏈接數,即有多少文件名指向這個inode
* 文件數據block的位置
總之,除了文件名以外的所有文件信息,都存在inode之中。至於為什么沒有文件名,下文會有詳細解釋。
可以用stat命令,查看某個文件的inode信息:
stat .bashrc
三、inode的大小
inode也會消耗硬盤空間,所以硬盤格式化的時候,操作系統自動將硬盤分成兩個區域。一個是數據區,存放文件數據;另一個是inode區(inode table),存放inode所包含的信息。
每個inode節點的大小,一般是128字節或256字節。inode節點的總數,在格式化時就給定,一般是每1KB或每2KB就設置一個inode。假定在一塊1GB的硬盤中,每個inode節點的大小為128字節,每1KB就設置一個inode,那么inode table的大小就會達到128MB,占整塊硬盤的1/8空間(12.5%)。
查看每個硬盤分區的inode總數和已經使用的數量,可以使用df命令。
df -i
如下圖所以,磁盤容量會與inode數成正比。
由於每個文件都必須有一個inode,因此有可能發生inode已經用光,但是硬盤還未存滿的情況。這時,就無法在硬盤上創建新文件。
會報磁盤空間已滿的錯誤 No space left on device
四、inode號碼
每個inode都有一個號碼,操作系統用inode號碼來識別不同的文件。
這里值得重復一遍,Unix/linux系統內部不使用文件名,而使用inode號碼來識別文件。對於系統來說,文件名只是inode號碼便於識別的別稱或者綽號。
表面上,用戶通過文件名,打開文件。實際上,系統內部這個過程分成三步:首先,系統找到這個文件名對應的inode號碼;其次,通過inode號碼,獲取inode信息;最后,根據inode信息,找到文件數據所在的block,讀出數據。
使用ls -i命令,可以看到文件名對應的inode號碼:
ls -i .bashrc
五、目錄文件
Unix/Linux系統中,目錄(directory)也是一種文件。打開目錄,實際上就是打開目錄文件。
目錄文件的結構非常簡單,就是一系列目錄項(dirent)的列表。每個目錄項,由兩部分組成:所包含文件的文件名,以及該文件名對應的inode號碼。
ls命令只列出目錄文件中的所有文件名:
ls /etc
ls -i命令列出整個目錄文件,即文件名和inode號碼:
ls -i /etc
如果要查看文件的詳細信息,就必須根據inode號碼,訪問inode節點,讀取信息。ls -l命令列出文件的詳細信息。
ls -l /etc
理解了上面這些知識,就能理解目錄的權限。目錄文件的讀權限(r)和寫權限(w),都是針對目錄文件本身(即不同用戶能以什么權限訪問操作對該目錄文件,例如這里不同用戶對tmp目錄文件(d可以查出tmp是目錄文件,d表示directory,即目錄)分別為rwxr-xr-x,第一組的三個字符,即rwx,表示文件擁有者用戶的對該文件的讀寫權限,第二組的三個字符,即r-x,表示文件擁有者用戶所在的用戶組里的其他用戶對該文件的讀寫權限,第三組的三個字符,即r-x,表示文件擁有者用戶所在的用戶組以外的用戶對該文件的讀寫權限。一個某個用戶下運行的進程訪問操作該目錄文件只能以該用戶所具有的對該目錄文件的權限進行操作)。由於目錄文件內只有文件名和inode號碼,所以如果只有讀權限,只能獲取文件名,無法獲取其他信息,因為其他信息都儲存在inode節點中,而讀取inode節點內的信息需要目錄文件的執行權限(x)。
例如 drwxrwxr-- 2 user_a user_a
目錄權限是774 這樣除了user_a 用戶及user_a所在組用戶可以進入到 此目錄中,其他用戶都不可以進入。
六、硬鏈接
一般情況下,文件名和inode號碼是"一一對應"關系,每個inode號碼對應一個文件名。
但是,Unix/Linux系統允許,多個文件名指向同一個inode號碼。
這意味着,可以用不同的文件名訪問同樣的內容;對文件內容進行修改,會影響到所有文件名;但是,刪除一個文件名,不影響另一個文件名的訪問。這種情況就被稱為"硬鏈接"(hard link)。
ln命令可以創建硬鏈接:
ln 源文件 目標文件
運行上面這條命令以后,源文件與目標文件的inode號碼相同,都指向同一個inode。inode信息中有一項叫做"鏈接數",記錄指向該inode的文件名總數,這時就會增加1。
反過來,刪除一個文件名,就會使得inode節點中的"鏈接數"減1。當這個值減到0,表明沒有文件名指向這個inode,系統就會回收這個inode號碼,以及其所對應block區域。
這里順便說一下目錄文件的"鏈接數"。創建目錄時,默認會生成兩個目錄項:"."和".."。前者的inode號碼就是當前目錄的inode號碼,等同於當前目錄的"硬鏈接";后者的inode號碼就是當前目錄的父目錄的inode號碼,等同於父目錄的"硬鏈接"。所以,任何一個目錄的"硬鏈接"總數,總是等於2(某一目錄的目錄名和該目錄的當前目錄名)加上它的子目錄總數(含隱藏目錄)。(因為inode信息中有一項叫做"鏈接數",記錄指向該inode的文件名總數)
七、軟鏈接
除了硬鏈接以外,還有一種特殊情況。
文件A和文件B的inode號碼雖然不一樣,但是文件A的內容是文件B的路徑。讀取文件A時,系統會自動將訪問者導向文件B。因此,無論打開哪一個文件,最終讀取的都是文件B。這時,文件A就稱為文件B的"軟鏈接"(soft link)或者"符號鏈接(symbolic link)。
這意味着,文件A依賴於文件B而存在,如果刪除了文件B,打開文件A就會報錯:"No such file or directory"。這是軟鏈接與硬鏈接最大的不同:文件A指向文件B的文件名,而不是文件B的inode號碼,文件B的inode"鏈接數"不會因此發生變化。
ln -s命令可以創建軟鏈接。
ln -s 源文文件或目錄 目標文件或目錄
八、inode的特殊作用
由於inode號碼與文件名分離,這種機制導致了一些Unix/Linux系統特有的現象。
1. 有時,文件名包含特殊字符,無法正常刪除。這時,直接刪除inode節點,就能起到刪除文件的作用。
2. 移動文件或重命名文件,只是改變文件名,不影響inode號碼。
3. 打開一個文件以后,系統就以inode號碼來識別這個文件,不再考慮文件名。因此,通常來說,系統無法從inode號碼得知文件名。
第3點使得軟件更新變得簡單,可以在不關閉軟件的情況下進行更新,不需要重啟。因為系統通過inode號碼,識別運行中的文件,不通過文件名。更新的時候,新版文件以同樣的文件名,生成一個新的inode,不會影響到運行中的文件。等到下一次運行這個軟件的時候,文件名就自動指向新版文件,舊版文件的inode則被回收。
Linux 磁盤分區存放文件和目錄的數量 (inode)
文件系統格式
centos7缺省是xfs,centos6缺省是ext4,centos5缺省是ext3
ext3 文件數最大支持31998個,文件系統容量最大16TB,單個文件最大2TB
ext4 文件數最大無限制,文件系統容量最大1EB(1EB=1024PB,1PB=1024TB)),單個文件最大16TB
具體還和系統inode(索引節點)數量有關,即使磁盤有剩余空間,這個 inode 滿了也無法寫入文件,查看inode數量:
[root@mail ~]# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/vda3 2289280 695457 1593823 31% /
tmpfs 240294 1 240293 1% /dev/shm
/dev/vda1 51200 45 51155 1% /boot