linux可通過五元組唯一確定一個鏈接:源IP,源端口,目的IP,目的端口,傳輸層協議。而一個端口不允許被兩個及以上進程占用(一個進程可同時占用多個端口),據此是否可以推測一台linux服務器最多可以同時處理2^16(65536,或65K)個鏈接即並發請求呢?
一台服務器到底能夠支持多少TCP並發連接呢?
1. 文件描述符限制
對於服務器來說,每一個TCP連接都要占用一個文件描述符,一旦文件描述符使用完,新的連接到來返回給我們的錯誤是"Socket/File:Can't open so many files"。
這時,你需要明白操作系統可以打開最大文件數的限制。
1)進程限制(用戶限制)
執行 ulimit -n 輸出1024,說明對於一個進程而言最多只能打開1024個文件,所以你要采用此默認配置最多也就可以並發上千個TCP連接。
臨時修改:ulimit -n 1000000,但是這種臨時修改只對當前登錄的用戶目前使用的環境有效,系統重啟或用戶退出會就失效。
永久生效:修改/etc/security/limits.conf 文件:
* soft nofile 1000000
* hard nofile 1000000
ulimit -SHn 1000000 >> /etc/rc.local
2)全局限制
執行 cat /proc/sys/fs/file-nr
1216 0 187612
>1216:已經分配的文件描述符數
>0:已經分配但沒有使用的文件描述符數,這里的意思是內核分配了1216,然后1216個都用光了,所以“分配了但沒有使用的句柄數目”為 0 。
>187612:最大文件句柄數
注意:在kernel2.6 版本中第二項的值總為0,這並不是一個錯誤,它實際上意味着已經分配的文件描述符無一浪費的都已經被使用。可以通過在/etc/sysctl.conf里定義fs.file-max = 1000000 來調整最后一個值的大小。
2. 端口號范圍限制
操作系統上端口號1024以下是系統保留的,從1024-65535是用戶使用的,由於每個tcp連接都要占用一個端口號,所以我們最多可以使用60000多個並發連接,這是對客戶端的理解。
分析一下:
1) 如何標識一個TCP連接? 系統用一個4元組來標識一個TCP連接:(local ip,local port,remote ip,remote port) 。對於accept來說,accept的sock不占新的端口,而我們作為服務器實際只是使用了bind這一個端口。
說明端口65535並不是並發量的限制。
2) server最大tcp連接數:server通常固定在某一個本地端口上監聽,等待client的連接請求。不考慮地址重用的情況下,即使多個ip,本地監聽端口也是獨占的。因此server端tcp連接4元組中只有remote ip 和 remote port 是可變的,因此最大tcp連接數為客戶端ip數 * 客戶端port數。 對於ipv4,不考慮ip地址等因素,最大tcp連接約為2的32次方(ip數) * 2的16次方(port數)。
也就是server端:單機最大tcp連接數約為:2的48次方。
附加問題:
問題1:查看文件描述符使用 lsof查看到的句柄數和/proc/sys/fs/file-nr 值不一樣,為什么?
[root@localhost ~]# lsof | wc -l
710
[root@localhost ~]# cat /proc/sys/fs/file-nr
416 0 1000000
答案:一個文件可以被多個進程打開,lsof所列出來的是每個進程所打開的文件,所以lsof的數值比file-nr要大很正常。
問題2:關於文件句柄到底設置多大合適?
查看句柄數的方法:
[root@node1 ~]# cat /proc/sys/fs/file-nr
832 0 97321
[root@node1 ~]# cat /proc/sys/fs/file-max
97321
默認最大句柄數為97321。
這個值在kernel的文檔里意思是file-max一般為內存大小(KB)的10%來計算,如果使用shell,可以這樣計算:
grep -r MemTotal /proc/meminfo | awk '{printf("%d",$2/10)}'
計算出來的值一般和默認最大句柄數近似。
echo "fs.file-max = 100133" >> /etc/sysctl.conf && sysctl -p
解決高並發socket最大連接數所受的各種限制(解除IO限制)
1. 修改用戶進程可打開文件數限制
修改Linux對當前用戶的進程同時打開的文件數量的軟限制(soft limit)和硬限制(hardlimit)。軟限制是指Linux在當前系統能夠承受的范圍內進一步限制用戶同時打開的文件數;硬限制則是根據系統硬件資源狀況(主要是系統內存)計算出來的系統最多可同時打開的文件數量。通常軟限制小於或等於硬限制。
第一步,修改/etc/security/limits.conf文件,在文件中添加如下行:
speng soft nofile 10240
speng hard nofile 10240
其中speng指定了要修改哪個用戶的打開文件數限制,可用’*'號表示修改所有用戶的限制;soft或hard指定要修改軟限制還是硬限制;10240則指定了想要修改的新的限制值,即最大打開文件數(請注意軟限制值要小於或等於硬限制)。
第二步,修改/etc/pam.d/login文件,在文件中添加如下行:
session required /lib/security/pam_limits.so
這是告訴Linux在用戶完成系統登錄后,應該調用pam_limits.so模塊來設置系統對該用戶可使用的各種資源數量的最大限制(包括用戶可打開的最大文件數限制),而pam_limits.so模塊就會從/etc/security/limits.conf文件中讀取配置來設置這些限制值。修改完后保存此文件。
第三步,查看Linux系統級的最大打開文件數限制,使用如下命令:
$ cat /proc/sys/fs/file-max
12158
這表明這台Linux系統最多允許同時打開(即包含所有用戶打開文件數總和)12158個文件,是Linux系統級硬限制,所有用戶級的打開文件數限制都不應超過這個數值。通常這個系統級硬限制是Linux系統在啟動時根據系統硬件資源狀況計算出來的最佳的最大同時打開文件數限制,如果沒有特殊需要,不應該修改此限制,除非想為用戶級打開文件數限制設置超過此限制的值。修改此硬限制的方法是修改/etc/rc.local腳本,在腳本中添加如下行:
echo 22158 > /proc/sys/fs/file-max
這是讓Linux在啟動完成后強行將系統級打開文件數硬限制設置為22158。修改完后保存此文件。
完成上述步驟后重啟系統,一般情況下就可以將Linux系統對指定用戶的單一進程允許同時打開的最大文件數限制設為指定的數值。如果重啟后用 ulimit-n命令查看用戶可打開文件數限制仍然低於上述步驟中設置的最大值,這可能是因為在用戶登錄腳本/etc/profile中使用ulimit -n命令已經將用戶可同時打開的文件數做了限制。由於通過ulimit-n修改系統對用戶可同時打開文件的最大數限制時,新修改的值只能小於或等於上次 ulimit-n設置的值,因此想用此命令增大這個限制值是不可能的。所以,如果有上述問題存在,就只能去打開/etc/profile腳本文件,在文件中查找是否使用了ulimit-n限制了用戶可同時打開的最大文件數量,如果找到,則刪除這行命令,或者將其設置的值改為合適的值,然后保存文件,用戶退出並重新登錄系統即可。
通過上述步驟,就為支持高並發TCP連接處理的通訊處理程序解除關於打開文件數量方面的系統限制。
2. 修改網絡內核對TCP連接的有關限制
在Linux上編寫支持高並發TCP連接的客戶端通訊處理程序時,有時會發現盡管已經解除了系統對用戶同時打開文件數的限制,但仍會出現並發TCP連接數增加到一定數量時,再也無法成功建立新的TCP連接的現象。出現這種現在的原因有多種。
第一種原因可能是因為Linux網絡內核對本地端口號范圍有限制。此時,進一步分析為什么無法建立TCP連接,會發現問題出在connect()調用返回失敗,查看系統錯誤提示消息是“Can’t assign requested address”。同時,如果在此時用tcpdump工具監視網絡,會發現根本沒有TCP連接時客戶端發SYN包的網絡流量。這些情況說明問題在於本地Linux系統內核中有限制。其實,問題的根本原因在於Linux內核的TCP/IP協議實現模塊對系統中所有的客戶端TCP連接對應的本地端口號的范圍進行了限制(例如,內核限制本地端口號的范圍為1024~32768之間)。當系統中某一時刻同時存在太多的TCP客戶端連接時,由於每個TCP客戶端連接都要占用一個唯一的本地端口號(此端口號在系統的本地端口號范圍限制中),如果現有的TCP客戶端連接已將所有的本地端口號占滿,則此時就無法為新的TCP客戶端連接分配一個本地端口號了,因此系統會在這種情況下在connect()調用中返回失敗,並將錯誤提示消息設為“Can’t assign requested address”。有關這些控制邏輯可以查看Linux內核源代碼,以linux2.6內核為例,可以查看tcp_ipv4.c文件中如下函數:
static int tcp_v4_hash_connect(struct sock *sk)
請注意上述函數中對變量sysctl_local_port_range的訪問控制。變量sysctl_local_port_range的初始化則是在tcp.c文件中的如下函數中設置:
void __init tcp_init(void)
內核編譯時默認設置的本地端口號范圍可能太小,因此需要修改此本地端口范圍限制。
第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:
net.ipv4.ip_local_port_range = 1024 65000
這表明將系統對本地端口范圍限制設置為1024~65000之間。請注意,本地端口范圍的最小值必須大於或等於1024;而端口范圍的最大值則應小於或等於65535。修改完后保存此文件。
第二步,執行sysctl命令:
$ sysctl -p
如果系統沒有錯誤提示,就表明新的本地端口范圍設置成功。如果按上述端口范圍進行設置,則理論上單獨一個進程最多可以同時建立60000多個TCP客戶端連接。
第二種無法建立TCP連接的原因可能是因為Linux網絡內核的IP_TABLE防火牆對最大跟蹤的TCP連接數有限制。此時程序會表現為在 connect()調用中阻塞,如同死機,如果用tcpdump工具監視網絡,也會發現根本沒有TCP連接時客戶端發SYN包的網絡流量。由於 IP_TABLE防火牆在內核中會對每個TCP連接的狀態進行跟蹤,跟蹤信息將會放在位於內核內存中的conntrackdatabase中,這個數據庫的大小有限,當系統中存在過多的TCP連接時,數據庫容量不足,IP_TABLE無法為新的TCP連接建立跟蹤信息,於是表現為在connect()調用中阻塞。此時就必須修改內核對最大跟蹤的TCP連接數的限制,方法同修改內核對本地端口號范圍的限制是類似的:
第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:
net.ipv4.ip_conntrack_max = 10240
這表明將系統對最大跟蹤的TCP連接數限制設置為10240。請注意,此限制值要盡量小,以節省對內核內存的占用。
第二步,執行sysctl命令:
$ sysctl -p
如果系統沒有錯誤提示,就表明系統對新的最大跟蹤的TCP連接數限制修改成功。如果按上述參數進行設置,則理論上單獨一個進程最多可以同時建立10000多個TCP客戶端連接。
3. 使用支持高並發網絡I/O的編程技術
在Linux上編寫高並發TCP連接應用程序時,必須使用合適的網絡I/O技術和I/O事件分派機制。
可用的I/O技術有同步I/O,非阻塞式同步I/O(也稱反應式I/O),以及異步I/O。在高TCP並發的情形下,如果使用同步I/O,這會嚴重阻塞程序的運轉,除非為每個TCP連接的I/O創建一個線程。但是,過多的線程又會因系統對線程的調度造成巨大開銷。因此,在高TCP並發的情形下使用同步 I/O是不可取的,這時可以考慮使用非阻塞式同步I/O或異步I/O。非阻塞式同步I/O的技術包括使用select(),poll(),epoll等機制。異步I/O的技術就是使用AIO。
從I/O事件分派機制來看,使用select()是不合適的,因為它所支持的並發連接數有限(通常在1024個以內)。如果考慮性能,poll()也是不合適的,盡管它可以支持的較高的TCP並發數,但是由於其采用“輪詢”機制,當並發數較高時,其運行效率相當低,並可能存在I/O事件分派不均,導致部分TCP連接上的I/O出現“飢餓”現象。而如果使用epoll或AIO,則沒有上述問題(早期Linux內核的AIO技術實現是通過在內核中為每個 I/O請求創建一個線程來實現的,這種實現機制在高並發TCP連接的情形下使用其實也有嚴重的性能問題。但在最新的Linux內核中,AIO的實現已經得到改進)。
綜上所述,在開發支持高並發TCP連接的Linux應用程序時,應盡量使用epoll或AIO技術來實現並發的TCP連接上的I/O控制,這將為提升程序對高並發TCP連接的支持提供有效的I/O保證。
4. 內核參數sysctl.conf的優化
/etc/sysctl.conf 是用來控制linux網絡的配置文件,對於依賴網絡的程序(如web服務器和cache服務器)非常重要,RHEL默認提供的最好調整。
推薦配置(把原/etc/sysctl.conf內容清掉,把下面內容復制進去):
net.ipv4.ip_local_port_range = 1024 65536
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65536 16777216
net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_window_scaling = 0
net.ipv4.tcp_sack = 0
net.core.netdev_max_backlog = 30000
net.ipv4.tcp_no_metrics_save=1
net.core.somaxconn = 262144
net.ipv4.tcp_syncookies = 0
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
這個配置參考於cache服務器varnish的推薦配置和SunOne 服務器系統優化的推薦配置。varnish調優推薦配置的地址為:http://varnish.projects.linpro.no/wiki/Performance
不過varnish推薦的配置是有問題的,實際運行表明“net.ipv4.tcp_fin_timeout = 3”的配置會導致頁面經常打不開;並且當網友使用的是IE6瀏覽器時,訪問網站一段時間后,所有網頁都會打不開,重啟瀏覽器后正常。可能是國外的網速快吧,我們國情決定需要調整“net.ipv4.tcp_fin_timeout = 10”,在10s的情況下,一切正常(實際運行結論)。
修改完畢后,執行:
/sbin/sysctl -p /etc/sysctl.conf
/sbin/sysctl -w net.ipv4.route.flush=1
5. 調整文件數
linux系統優化完網絡必須調高系統允許打開的文件數才能支持大的並發,默認1024是遠遠不夠的。
執行命令:
echo ulimit -HSn 65536 >> /etc/rc.local
echo ulimit -HSn 65536 >>/root/.bash_profile
ulimit -HSn 65536
參考: