提升linux下tcp服務器並發連接數限制


1、修改用戶進程可打開文件數限制
   在Linux平台上,無論編寫客戶端程序還是服務端程序,在進行高並發TCP連接處理時,最高的並發數量都要受到系統對用戶單一進程同時可打開文件數量的限制(這是因為系統為每個TCP連接都要創建一個socket句柄,每個socket句柄同時也是一個文件句柄)。可使用ulimit命令查看系統允許當前用戶進程打開的文件數限制:
   [speng@as4 ~]$ ulimit -n
   1024
   這表示當前用戶的每個進程最多允許同時打開1024個文件,這1024個文件中還得除去每個進程必然打開的標准輸入,標准輸出,標准錯誤,服務器監聽 socket,進程間通訊的unix域socket等文件,那么剩下的可用於客戶端socket連接的文件數就只有大概1024-10=1014個左右。也就是說缺省情況下,基於Linux的通訊程序最多允許同時1014個TCP並發連接。
   對於想支持更高數量的TCP並發連接的通訊處理程序,就必須修改Linux對當前用戶的進程同時打開的文件數量的軟限制(soft limit)和硬限制(hardlimit)。其中軟限制是指Linux在當前系統能夠承受的范圍內進一步限制用戶同時打開的文件數;硬限制則是根據系統硬件資源狀況(主要是系統內存)計算出來的系統最多可同時打開的文件數量。通常軟限制小於或等於硬限制。
   修改上述限制的最簡單的辦法就是使用ulimit命令:
   [speng@as4 ~]$ ulimit -n <file_num>
   上述命令中,在<file_num>中指定要設置的單一進程允許打開的最大文件數。如果系統回顯類似於“Operation notpermitted”之類的話,說明上述限制修改失敗,實際上是因為在<file_num>中指定的數值超過了Linux系統對該用戶打開文件數的軟限制或硬限制。因此,就需要修改Linux系統對用戶的關於打開文件數的軟限制和硬限制。
   第一步,修改/etc/security/limits.conf文件,在文件中添加如下行:

wjoyxt soft nofile 655360
   *      hard nofile 655360
   *      soft nproc 131072
   *      hard nproc 131072

   其中wjoyxt指定了要修改哪個用戶的打開文件數限制,可用'*'號表示修改所有用戶的限制;soft或hard指定要修改軟限制還是硬限制;655360則指定了想要修改的新的限制值,即最大打開文件數(請注意軟限制值要小於或等於硬限制)。修改完后保存文件。

   第二步,修改/etc/pam.d/login文件,在文件中添加如下行:
   session required /lib/security/pam_limits.so
   這是告訴Linux在用戶完成系統登錄后,應該調用pam_limits.so模塊來設置系統對該用戶可使用的各種資源數量的最大限制(包括用戶可打開的最大文件數限制),而pam_limits.so模塊就會從/etc/security/limits.conf文件中讀取配置來設置這些限制值。修改完后保存此文件。
   第三步,解決完單一進程的文件句柄數量受限問題后,還要解決整個系統的文件句柄數量受限問題。我們可通過以下命令查看Linux系統級的最大打開文件數限制:

[root@localhost ~]# cat /proc/sys/fs/file-max

98957

file-max表示系統所有進程最多允許同時打開的文件句柄數,是Linux系統級硬限制。通常,這個系統硬限制是Linux系統在啟動時根據系統硬件資源狀況計算出來的最佳的最大同時打開文件數限制,如果沒有特殊需要,不應該修改此限制。

要修改它,需要對 /etc/sysctl.conf 文件,增加一行內容:

fs.file-max = 3240808

保存成功后,需執行下面命令使之生效:

[root@localhost ~]# sysctl -p




2、修改網絡內核對TCP連接的有關限制
   在Linux上編寫支持高並發TCP連接的客戶端通訊處理程序時,有時會發現盡管已經解除了系統對用戶同時打開文件數的限制,但仍會出現並發TCP連接數增加到一定數量時,再也無法成功建立新的TCP連接的現象。出現這種現在的原因有多種。
   內核編譯時默認設置的本地端口號范圍可能太小,因此需要修改此本地端口范圍限制。

   第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:
   net.ipv4.ip_local_port_range = 1024 65000
   這表明將系統對本地端口范圍限制設置為1024~65000之間。請注意,本地端口范圍的最小值必須大於或等於1024;而端口范圍的最大值則應小於或等於65535。修改完后保存此文件。

   第二步,執行sysctl命令:
   [speng@as4 ~]$ sysctl -p
   如果系統沒有錯誤提示,就表明新的本地端口范圍設置成功。如果按上述端口范圍進行設置,則理論上單獨一個進程最多可以同時建立60000多個TCP客戶端連接。
   第二種無法建立TCP連接的原因可能是因為Linux網絡內核的IP_TABLE防火牆對最大跟蹤的TCP連接數有限制。此時程序會表現為在 connect()調用中阻塞,如同死機,如果用tcpdump工具監視網絡,也會發現根本沒有TCP連接時客戶端發SYN包的網絡流量。由於 IP_TABLE防火牆在內核中會對每個TCP連接的狀態進行跟蹤,跟蹤信息將會放在位於內核內存中的conntrackdatabase中,這個數據庫的大小有限,當系統中存在過多的TCP連接時,數據庫容量不足,IP_TABLE無法為新的TCP連接建立跟蹤信息,於是表現為在connect()調用中阻塞。此時就必須修改內核對最大跟蹤的TCP連接數的限制,方法同修改內核對本地端口號范圍的限制是類似的:

   第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:
   net.ipv4.ip_conntrack_max = 8553600
   這表明將系統對最大跟蹤的TCP連接數限制設置為8553600。請注意,此限制值要盡量小,以節省對內核內存的占用。

   第二步,執行sysctl命令:
   [speng@as4 ~]$ sysctl -p
-----------------------------------------------------------------------------------------------------------

/etc/sysctl.conf 優化追加以下內容:

net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 8192 87380 16777216
net.ipv4.tcp_wmem = 8192 65536 16777216
net.ipv4.tcp_mem = 8388608 12582912 16777216
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.tcp_synack_retries = 2
net.ipv4.ip_conntrack_max = 8553600
net.ipv4.netfilter.ip_conntrack_max = 8553600
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 60

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM