對於系統管理員來說,了解系統的一些限制是非常有必要的,這樣可以根據需要進行必要的參數配置和調整,進而實現更優的性能,對於系統設計人員甚至程序員來說,了解系統的一些限制,也會有助於設計更為合理的存儲結構。
一 目錄數限制
RedHat Enterprise Linux AS 4.0 Update 3
在同一個路徑下,一級子目錄的個數限制為31998,如果你的應用生成的目錄可能會超過這個數,那要注意進行目錄分級。例如,如果目錄名為數字的話,可以將數字除以10000后的整數值做為父目錄名 (/data/1/13892),如果是目錄名為字母的,可以用前幾個字符來做為父一級目錄(/data/ab/abcdefg)等等。
通過以下的命令行可以得到一個目錄下一級子目錄的總數:
$ ls -F | grep "/" | wc
解決方法:
1) 創建子目錄
2) Linux為了cpu的搜索效率而規定的,要想改變數目大概要重新編譯內核.
二 文件數目限制
每個文件對應一個inode,如果inode沒有了,那就算有空間也不能再寫文件了。
通過以下命令行,可以看某個分區的inodes信息:
[root@boss tmp]# tune2fs -l /dev/sda5 | grep "inodes"
Free inodes: 1247005
[root@boss tmp]#
2種解決辦法:
1) 重新mkfs,mkfs時將inode數調的多一些(根據你fs中文件的總數而定),塊尺寸調得小一些(根據每個文件的平均大小而定)
2) 使用loopback文件系統臨時解決
在/usr中(也可以在別處)創建一個大文件,然后做成loopback文件系統,將原來的文件移到這個文件系統中,並將它mount到/usr下合適的位置。這樣可以大大減少你/usr中的文件數目。但是系統性能會有點損失。
三 單個目錄下文件數限制
原來以為Linux下單個目錄內有文件數量限制,Google了一番沒有看到明確的說法,到是Freebsd下有65535的限制,通過重新編譯內核可以更改。(可以看看/usr/include/sys/syslimits.h)
不過不建議在一個目錄下放太多文件,會影響系統性能。
補充: ulimit -a 命令查看所有的限制,並能臨時改變限制。
(參考鏈接: http://blog.chinaunix.net/u1/34654/showart_331913.html)
==============================================================
昨晚排查了在KVM的build系統中的一個問題,跟蹤到后面發現在一個目錄下mkdir創建目錄失敗。我手動試了一下,提示如下:cannot create directory `/home/master/jaytemp` too many links
我發現是在一個目錄下的一級子目錄數量是有限制的,遂做了點實驗和調查,結合網上其他人寫的博客,得到如下的一些關於目錄個數和文件個數限制的結論。
1.ext3文件系統一級子目錄的個數默認為31998(個),准確地說是32000個。
Linux為了cpu的搜索效率而規定的,要想改變數目限制需要重新編譯內核。我看到在kernel代碼中有這樣的:
include/linux/ext2_fs.h:#define EXT2_LINK_MAX 32000
include/linux/ext3_fs.h:#define EXT3_LINK_MAX 32000
為什么說31998個呢?這是因為mkdir創建一個目錄時,目錄下默認就會創建兩個子目錄的,一個是.目錄(代表當前目錄),另一個是..目錄(代表上級目錄)。這兩個子目錄是刪除不掉的,“ rm . ” 會得到“rm: cannot remove `.' or `..'”的提示。所以32000-2=31998。
另外,你可以通過如下的腳本來嘗試。
#!/bin/bash
mkdir tmp
cd tmp
i=1
while [ $i -lt 35000 ]
do
mkdir $i
if [ $? -ne 0 ]; then
echo "cannot make dir $i"
exit
fi
((i++))
done
運行這個腳本,你最后將得到“mkdir: cannot create directory `31999': Too many links”的錯誤信息。
另外,不建議在一個目錄下有太多的文件或者目錄,這回降低文件系統查找文件或目錄的性能。忽然想起阿里巴巴的圖片服務器中將圖片的存儲按照年月等分為不同的各級子目錄而不是在一個目錄下,其中一個原因也是出於性能的Linux操作系統考慮。
2.ext3文件系統下單個目錄里的最大文件數無特別的限制,是受限於所在文件系統的inode數。
我在RHEL5u5的ext3文件系統中測試,在一個目錄下,touch了100萬個文件是沒有問題的。但是肯定會受到所在文件系統的inode數的限制。
df -i /dev/sdaX或者使用tune2fs -l /dev/sdaX或者dumpe2fs -h /dev/sdaX查看可用inode數,后兩個命令輸出結果是一樣的,但是跟df所得出的可用inode數會有些誤差,其中原因,我也沒搞清楚。
網上有兩種解決inode數限制的辦法如下,不過我沒試過了。
2.1 重新mkfs,mkfs時將inode數調的多一些(根據你fs中文件的總數而定),塊尺寸調得小一些(根據每個文件的平均大小而定)
2.2 使用loopback文件系統臨時解決:在/usr中(也可以在別處)創建一個大文件,然后做成loopback文件系統,將原來的文件移到這個文件系統中,並將它mount到/usr下合適的位置。這樣可以大大減少你/usr中的文件數目。但是系統性能會有點損失。
3.默認打開文件個數(文件描述符)限制(默認是1024個)
ulimit -n 命令可以查看
修改這個限制可以使用ulimt -SHn 65535 命令
還可以在/etc/security/limit.conf 里設置用戶打開文件數、進程數、CPU等信息
4.ext3文件系統下filename最大字符長度(默認255個英文字符)
LENTH=`for i in {1..255};do for x in a;do echo -n $x;done;done`
touch $LENTH
當增加到256時,touch報錯,File name too long
linux系統下ext3文件系統內給文件/目錄命名,最長只能支持127個中文字符,英文則可以支持255個字符
參考文檔:
http://bbs.chinaunix.net/viewthread.php?tid=1972687
http://www.unixreference.net/articles/linux/fs/2007/1115/651.html
http://it.chinawin.net/os/article-3958.html