關於Linux網卡調優之:RPS (Receive Packet Steering)


 昨天在查LVS調度均衡性問題時,最終確定是 persistence_timeout 參數會使用IP哈希。目的是為了保證長連接,即一定時間內訪問到的是同一台機器。而我們內部系統,由於出口IP相對單一,所以總會被哈希到相同的RealServer。

    過去使用LVS,遇到過單核CPU被軟中斷耗盡的問題,然后知道了網卡驅動與多隊列。而后知道了淘寶對LVS的優化,然后對生產環境進行了優化,效果顯著。

    如今單台LVS帶寬吃到近500Mb/s,每秒進出包都過40萬。此時發現網卡(4隊列)對應CPU的軟中斷消耗已過40%了,倍感壓力。按理,空閑CPU如果少於40%,則要新增節點了。關於中斷不均衡的問題,聽取了淘寶普空的意見,效果也非常明顯,全均衡了:

 


   原來CentOS 6.1就開始支持RPS了,原生支持需要使用Linux內核2.6.38或以上版本。

   簡單來講,RPS就是讓網卡使用多核CPU的。傳統方法就是網卡多隊列(RSS,需要硬件和驅動支持),RPS則是在系統層實現了分發和均衡。獻上修改設置的腳本一例:

#!/bin/bash  
# Enable RPS (Receive Packet Steering)  
      
rfc=4096  
cc=$(grep -c processor /proc/cpuinfo)  
rsfe=$(echo $cc*$rfc | bc)  
sysctl -w net.core.rps_sock_flow_entries=$rsfe  
for fileRps in $(ls /sys/class/net/eth*/queues/rx-*/rps_cpus)  
do
    echo fff > $fileRps  
done
      
for fileRfc in $(ls /sys/class/net/eth*/queues/rx-*/rps_flow_cnt)  
do
    echo $rfc > $fileRfc  
done
      
tail /sys/class/net/eth*/queues/rx-*/{rps_cpus,rps_flow_cnt}


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM