關於Linux網卡調優之：RPS (Receive Packet Steering)

 昨天在查LVS調度均衡性問題時，最終確定是 persistence_timeout 參數會使用IP哈希。目的是為了保證長連接，即一定時間內訪問到的是同一台機器。而我們內部系統，由於出口IP相對單一，所以總會被哈希到相同的RealServer。

    過去使用LVS，遇到過單核CPU被軟中斷耗盡的問題，然后知道了網卡驅動與多隊列。而后知道了淘寶對LVS的優化，然后對生產環境進行了優化，效果顯著。

    如今單台LVS帶寬吃到近500Mb/s，每秒進出包都過40萬。此時發現網卡（4隊列）對應CPU的軟中斷消耗已過40%了，倍感壓力。按理，空閑CPU如果少於40%，則要新增節點了。關於中斷不均衡的問題，聽取了淘寶普空的意見，效果也非常明顯，全均衡了：

 

   原來CentOS 6.1就開始支持RPS了，原生支持需要使用Linux內核2.6.38或以上版本。

   簡單來講，RPS就是讓網卡使用多核CPU的。傳統方法就是網卡多隊列（RSS，需要硬件和驅動支持），RPS則是在系統層實現了分發和均衡。獻上修改設置的腳本一例：

#!/bin/bash  
# Enable RPS (Receive Packet Steering)  
      
rfc=4096  
cc=$(grep -c processor /proc/cpuinfo)  
rsfe=$(echo $cc*$rfc | bc)  
sysctl -w net.core.rps_sock_flow_entries=$rsfe  
for fileRps in $(ls /sys/class/net/eth*/queues/rx-*/rps_cpus)  
do
    echo fff > $fileRps  
done
      
for fileRfc in $(ls /sys/class/net/eth*/queues/rx-*/rps_flow_cnt)  
do
    echo $rfc > $fileRfc  
done
      
tail /sys/class/net/eth*/queues/rx-*/{rps_cpus,rps_flow_cnt}

版權屬於: 呂滔博客

原文地址: https://www.lvtao.net/server/492.html

轉載時必須以鏈接形式注明原始出處及本聲明。

• 上一篇: 我才知道的淘寶內核對LVS的性能優化
• 下一篇: Linux：權限、用戶、用戶組、root、安全審核、安全配置備忘錄