c10k,c100k,c1000k等問題大家都已經司空見慣,那么10m(千萬)並發連接呢?今天就來一起挑戰一下。
下面我們使用handy庫自帶的例子程序,來跑出一個單機千萬並發連接的實例,先上操作步驟,后面解釋。
准備機器
10m連接,大家的個人電腦肯定無法滿足要求,如果不是在大公司任職,弄個實際的物理機對大家是個奢望。那么怎么辦?我也面臨同樣問題。
現在的雲計算這么發達,還可以按小時計費,一小時的費用也就幾元,那就試試雲計算產品吧。小編先是在阿里雲上測試,但阿里雲的按需付費主機配置不高,費了不少時間,最終只跑到了3m個連接。阿里雲的不行,是主機的配置問題還是程序的問題呢?為了得到最終的結論,我嘗試了其他的雲產品,最終ucloud的雲主機給了我興奮的答案。
首先創建ucloud主機
ucloud主機(一共需要兩台,一台作為服務器,一台作為客戶端):
. 選擇主機管理的創建主機
. 系統選擇ubuntu14.4 64bit (小編的測試程序是c++11,需要高版本的g++)
. 機型標准版
. 網絡增強一定要選擇開啟 (千萬連接是網絡IO密集型,網絡當然要強大型)
. cpu 16核 內存64G 數據盤0
. 下一步中的網絡類型選擇基礎網絡即可,創建主機之后,需要購買彈性ip,並且綁定到主機
. 價格:小編實驗時,上述的配置,一台僅需7.2元一小時,兩台不到15元
做實驗的時候,大家記得要眼疾手快哦,一小時十幾元,獲得了自己想要的結果就趕緊釋放主機哈
調整系統參數
10m並發連接對系統是個挑戰,需要調整相關的參數
sysctl -w fs.file-max=10485760 #系統允許的文件描述符數量10m sysctl -w net.ipv4.tcp_rmem=1024 #每個tcp連接的讀取緩沖區1k,一個連接1k,10m只需要10G sysctl -w net.ipv4.tcp_wmem=1024 #每個tcp連接的寫入緩沖區1k sysctl -w net.ipv4.ip_local_port_range='1024 65535' #修改默認的本地端口范圍 sysctl -w net.ipv4.tcp_tw_recycle=1 #快速回收time_wait的連接 sysctl -w net.ipv4.tcp_tw_reuse=1 sysctl -w net.ipv4.tcp_timestamps=1 echo '* soft nofile 1048576' >> /etc/security/limits.conf #用戶單進程的最大文件數,用戶登錄時生效 echo '* hard nofile 1048576' >> /etc/security/limits.conf #用戶單進程的最大文件數,用戶登錄時生效 ulimit -n 1048576 #用戶單進程的最大文件數 當前會話生效
部署程序
下面可以開始部署我們的測試程序了
apt-get update apt-get install -y screen git make g++ nload iptraf git clone https://github.com/yedf/handy cd handy git checkout 97b5426f91d37 make -j4
運行測試程序
選取一台主機S作為服務器,運行服務器
10m/10m-svr 100 300 10 301 #啟動10個子進程,每個進程分別監聽100-300的端口
選取另一台主機C作為客戶端,運行客戶端,(需要填寫S的內網ip)
10m/10m-cli
觀察結果
然后,10m連接的建立就不需要更多的步驟啦,使用命令
watch ss -s
我們就可以開始觀察連接的創建進度啦,看着連接漸漸的往上走,超過10k,100k, 1m是不是很有成就感。
說明
並發連接數到達千萬時,有諸多方面的問題需要解決:
. 單進程最大文件數量限制:limit -n 最多能把這個數字修改到1048575,因此單個進程最多能夠打開百萬個文件,千萬並發連接需要千萬個文件描述符,於是我們使用多進程來做到千萬文件的支持
.多進程之間的負載均衡:nginx使用多進程來增加自己的吞吐量,采用共享鎖的方式來平衡負載,對核數較多的服務器,較多的進程並沒有達到性能的線性提升。最新的linux內核引入了SO_REUSEPORT選項,該選項可以自動平衡監聽同一端口的多進程,是內核級的解決方案。handy采用該方案,優於nginx的共享鎖。
.測試中客戶端本地端口不夠:讓服務器監聽了200個端口,這樣客戶端連接服務器的每個端口只有50k個連接,然后加大默認的本地端口范圍就可以滿足要求(見前面的服務器系統參數)
測試中如果一次性創建千萬個連接,則絕大部分的連接創建都會失敗,因此讓客戶端每100ms創建2000個連接,提高連接創建的成功率。
系統在運行中,並沒有多少的負載,當然啦,一部分負載跑到底層的hypervisor去了
小編實驗的機器上內存占用大約40G,平均一個連接前后一共用了4k,不多不多
大家可以通過iptraf,nload等工具來查看系統的網絡情況
寫到這里,順便給出我測是的ucloud主機的性能參數吧:
網卡流量最多可以到1.2GBit/s,並非所有時間都到了這么高,並不穩定,一般在800M-1.2G之間波動
tcp收包發包的最高qps是12w/s,多了就上不去了
