網絡參數，分別套用到Node和Pod，其中Pod級通過服務發布時候注入init-container生效，Node級通過運維初始化機器腳本或者編輯sysctl.conf配置文件生效到內存。
1、調整服務器內核參數
#!/bin/bash # node瓶頸是conntrack # 下面2項令TCP窗口和狀態追蹤更加寬松 sysctl -w net.netfilter.nf_conntrack_tcp_be_liberal=1 sysctl -w net.netfilter.nf_conntrack_tcp_loose=1 # 下面3項調大了conntrack表，保證操作效率 sysctl -w net.netfilter.nf_conntrack_max=3200000 sysctl -w net.netfilter.nf_conntrack_buckets=1600512 sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30 # pod瓶頸是TCP協議棧 sysctl -w net.ipv4.tcp_timestamps=1 # 與tw_reuse一起用 sysctl -w net.ipv4.tcp_tw_reuse=1 # 僅作用於客戶端，允許復用TIME_WAIT端口（與tcp_rw_recycle不同，該選項不受NAT場景下時間戳不一致問題影響） sysctl -w net.ipv4.ip_local_port_range="5120 65000" # 端口范圍 sysctl -w net.ipv4.tcp_fin_timeout=30 # 縮短TIME_WAIT時間,加速端口回收 # 下面3個均為加強握手隊列能力 sysctl -w net.ipv4.tcp_max_syn_backlog=10240 sysctl -w net.core.somaxconn=10240 sysctl -w net.ipv4.tcp_syncookies=1
注意：以上腳本是臨時調整服務內核，重啟服務器會失效，如果需要永久修改需要編輯/etc/sysctl.conf配置文件。另外，直接修改net.netfilter.nf_conntrack_buckets內核參數會報錯，需要
echo 1600512 > /sys/module/nf_conntrack/parameters/hashsize
批量調整集群節點服務器內核腳本(需要一個主控節點能ssh免登陸到機器其他節點，保證systcl.conf內核配置文件和批量執行腳本在一個路徑下)：
#!/bin/bash
for row in `cat $1 | awk '{printf("%s:%s:%s\n"),$1,$2,$3}'`
do
ip=`echo ${row} | awk -F ':' '{print $1}'`
passwd=`echo ${row} | awk -F ':' '{print $2}'`
username=`echo ${row} | awk -F ':' '{print $3}'`
echo $ip
/usr/bin/expect <<-EOF
spawn scp sysctl.conf $ip:/etc/sysctl.conf
expect {
"yes/no" { send "yes\r";exp_continue}
"password: " {send "$passwd\r";exp_continue}
}
EOF
/usr/bin/expect <<-EOF
spawn ssh root@$ip
expect "*#*"
send "sysctl -p\r"
expect "*root*]#*"
exit
EOF
done
sysctl.conf
net.ipv4.ip_forward = 1 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 0 net.ipv4.tcp_fin_timeout = 300 net.bridge.bridge-nf-call-arptables = 1 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_local_reserved_ports = 30000-32767 net.core.somaxconn = 65535 net.core.netdev_max_backlog = 65535 net.netfilter.nf_conntrack_tcp_be_liberal=1 net.netfilter.nf_conntrack_tcp_loose=1 net.netfilter.nf_conntrack_max=3200000 net.netfilter.nf_conntrack_tcp_timeout_time_wait=30 net.ipv4.tcp_timestamps=1 net.ipv4.ip_local_port_range=5120 65000 net.ipv4.tcp_fin_timeout=30 net.ipv4.tcp_max_syn_backlog=10240 net.core.somaxconn=10240 net.ipv4.tcp_syncookies=1
另外還需要批量修改net.netfilter.nf_conntrack_buckets
#!/bin/bash
for row in `cat $1 | awk '{printf("%s:%s:%s\n"),$1,$2,$3}'`
do
ip=`echo ${row} | awk -F ':' '{print $1}'`
passwd=`echo ${row} | awk -F ':' '{print $2}'`
username=`echo ${row} | awk -F ':' '{print $3}'`
echo $ip
/usr/bin/expect <<-EOF
spawn ssh root@$ip
expect "*#*"
send "echo 1600512 > /sys/module/nf_conntrack/parameters/hashsize\r"
expect "*root*]#*"
send "sysctl -a --p=net.netfilter.nf_conntrack_buckets\r"
expect "*root*]#*"
exit
EOF
done
2、node開機后需要關閉透明大頁，否則影響程序性能（來自VM PHP運維經驗）：
echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag
3、在init-container做信號量限制放開（主要是給php cat以及nodejs cat使用）：
sysctl -w kernel.sem="1034 32000 100 1000";
因為短連接調用方式的問題，單node內核處理能力有限，不適合選擇太高的硬件配置，建議16核64G。