借助Docker單機秒開數十萬TCP連接


熟悉網絡編程的都清楚系統只有65535個端口可用,1024以下的端口為系統保留,所以除去系統保留端口后可用的只有65411個端口,而一個TCP連接由TCP四元組(源IP、源端口、TCP、目標IP、目標端口)唯一確定,所以單機一個網卡時客戶端最多只能打開65411個TCP連接,而有時我們的TCP服務需要數十萬、上百萬甚至更多TCP連接的壓力測試,這時怎么辦呢,通常有幾個辦法可以解決:掛多網卡、加機器
  1、掛多網卡要是真買網卡這也是個麻煩的事情或許你機器還不支持,還有就是添加虛擬網卡,這倒是不用什么成本,寫寫腳本或許能解決但也要費不少神;
  2、加機器這個成本就比較高了,一台機器開6wTCP連接,壓60w就需要開十台這個太麻煩了;
  有沒有比較簡單可行的解決方案只要機器性能滿足就能秒開數十萬TCP連接呢,這里給出的方案是借助這幾年技術圈比較火的Docker,其實這里和上面一點中加虛擬網卡是一樣的,只是創建網卡這一步Docker幫我們做了,而且還能秒級啟動客戶端程序;

流程

  原理很簡單,發起TCP連接的客戶端程序丟到Docker容器中,由於Docker容器使用了Linux的網絡名稱空間(Network Namespace),容器會自己幫我們創建虛擬網卡,我們不必關系這塊,只要配好客戶端相關配置啟動容器即可;
  由於我們是要發起超過6w多個TCP請求連接,而手機啟動多個Docker容器也是件麻煩的事情,這里又借助了Docker的一個服務編排的工具Docker Compose這樣就可以一鍵發起數十萬TCP請求連接,是要你機器性能滿足開多少個連接都沒多大問題;
  如果服務的TCP通信壓力比較大那借助Docker Swarm或Kubernetes使用Docker集群發起TCP連接壓測更好;

示例

  在Docker宿主機中部署服務端,其實服務端不一定要部署在Docker宿主機中,然后把客戶端放在Docker鏡像中,啟動容器運行該客戶端即可;

  1、啟動服務端:

  2、生成鏡像且鏡像中包含了該客戶端程序:
  Dockerfile文件內容:

 FROM alpine:3.6
 # 設置locale
 ENV LANG en_US.UTF-8
 ENV LANGUAGE en_US:en
 ENV LC_ALL en_US.UTF-8
 ENV TZ=Asia/Shanghai

 RUN mkdir /app_home
 RUN echo 'net.ipv4.ip_local_port_range = 8001 65000' >> /etc/sysctl.conf

 WORKDIR /app_home

 COPY client /app_home

 RUN chmod +x /app_home/client

 ENV CLIENT=/app_home
 ENV PATH $CLIENT:$PATH

  生成了:solinx.co/market/demo-client:0.1鏡像:

  3、編寫docker-compose.yaml文件:

 version: '2'
 services:
  demo-client:
     image: "solinx.co/market/demo-client:0.1"
     environment:
       TEST: test
     command:
       sh -c "sysctl -p && client -serverAddr=172.16.187.228:28009 -total=35000"
    restart: always
 privileged: true

  啟動容器:docker-compose up -d --scale demo-client=2

  當前配置為每個容器中的客戶端發起35000個TCP連接,所以服務端連接總數為70000;

  當修改scale=3,再次執行:docker-compose up -d --scale demo-client=3,容器將擴容為三個,所以為105000個連接發起TCP連接;

  查看當前容器數:

  可以說分分鍾就發起N多TCP請求,完整的代碼示例在github上,需要的自行獲取;https://github.com/linxin26/TcpConnectionTest

文章首發地址:Solinx
http://www.solinx.co/archives/1119


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM