昨天在查LVS調度均衡性問題時,最終確定是 persistence_timeout 參數會使用IP哈希。目的是為了保證長連接,即一定時間內訪問到的是同一台機器。而我們內部系統,由於出口IP相對單一,所以總會被哈希到相同的RealServer。
過去使用LVS,遇到過單核CPU被軟中斷耗盡的問題,然后知道了網卡驅動與多隊列。而后知道了淘寶對LVS的優化,然后對生產環境進行了優化,效果顯著。
如今單台LVS帶寬吃到近500Mb/s,每秒進出包都過40萬。此時發現網卡(4隊列)對應CPU的軟中斷消耗已過40%了,倍感壓力。按理,空閑CPU如果少於40%,則要新增節點了。關於中斷不均衡的問題,聽取了淘寶普空的意見,效果也非常明顯,全均衡了:
原來CentOS 6.1就開始支持RPS了,原生支持需要使用Linux內核2.6.38或以上版本。
簡單來講,RPS就是讓網卡使用多核CPU的。傳統方法就是網卡多隊列(RSS,需要硬件和驅動支持),RPS則是在系統層實現了分發和均衡。獻上修改設置的腳本一例:
#!/bin/bash # Enable RPS (Receive Packet Steering) rfc=4096 cc=$(grep -c processor /proc/cpuinfo) rsfe=$(echo $cc*$rfc | bc) sysctl -w net.core.rps_sock_flow_entries=$rsfe for fileRps in $(ls /sys/class/net/eth*/queues/rx-*/rps_cpus) do echo fff > $fileRps done for fileRfc in $(ls /sys/class/net/eth*/queues/rx-*/rps_flow_cnt) do echo $rfc > $fileRfc done tail /sys/class/net/eth*/queues/rx-*/{rps_cpus,rps_flow_cnt}

版權屬於: 呂滔博客
原文地址: https://www.lvtao.net/server/492.html
轉載時必須以鏈接形式注明原始出處及本聲明。