一、概念
平均負載是指單位時間內，系統處於可運行狀態和不可中斷狀態的平均進程數，也就是平均活躍數，他和cpu使用率沒有直接關系，這里解釋下可運行狀態和不可中斷狀態這兩個詞。
所謂可運行狀態是指正在使用cpu或正在等待cpu的進程，可就是我們用ps命令查看處於R狀態的進程。
不可中斷狀態的進程則是正處於內核態關鍵流程中的進程，並且這些流程是不可打斷的，比如最常見的是等待硬件設備的I/O響應，也就是我們用ps命令看到的D狀態的進程
二、平均負載多少合理
首先要看服務器邏輯cpu個數。可以通過如下命令查詢
cat /proc/cpuinfo |grep "model name" |wc -l
2
有了cpu個數，如果平均負載比cpu個數還大，表示系統已經出現了過載
三、平均負載與cpu使用率區分
平均負載是指單位時間內，系統處於可運行狀態和不可中斷狀態的平均進程數。所以，它不僅包括了正在使用cpu的進程，還包括等待cpu和等待I/O的進程
而cpu使用率，是指單位時間內cpu繁忙情況的統計，跟平均負載並不一定完全對應，比如：
cpu密集型進程，使用大量cpu會導致平均負載升高，同事cpu使用率也跟着升高，兩者是一樣的。
I/O密集型進程，等待I/O也會導致平均負載升高，但cpu使用率不一定很高。
大量等待cpu的進程調度也會導致平均負載升高，此時的cpu使用率也會比較高。
四、工具介紹
stress 是Linux系統壓力測試工具，這里我們用作異常進程模擬平均負載升高的場景
sysstat 是Linux性能工具，用來監控和分析系統的性能，一般會用到這個包的兩個命令mpstat 和 pidstat
mpstat 是常用的多核cpu性能分析工具，用來實時查看每個cpu的性能指標以及所有cpu的平均指標
pidstat 是一個常用的進程性能分析工具，用來實時查看進程的cpu、內存、I/O以及上下文切換等性能指標
五、cpu密集型進程
首先開三個終端，便於查看，我們在第一個終端運行stress 命令，模擬一個cpu使用率100%的場景
stress --cpu 1 --timeout 600
接着在第二個終端運行uptime查看平均復雜運行情況
##-d 參數表示高亮顯示變化的區域
#watch -d uptime 16:24:14 up 2:45, 7 users, load average: 0.92, 0.40, 0.28
最后在第三個終端運行mpstat 查看cpu使用率的變化情況
# -P ALL 表示監控所有 CPU，后面數字 5 表示間隔 5 秒后輸出一組數據 $ mpstat -P ALL 5 Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:30:06 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 13:30:11 all 50.05 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 49.95 13:30:11 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 13:30:11 1 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
找出cpu使用率增高的進程
# 間隔 5 秒后輸出一組數據 $ pidstat -u 5 1 13:37:07 UID PID %usr %system %guest %wait %CPU CPU Command 13:37:12 0 2962 100.00 0.00 0.00 0.00 100.00 1 stress
六、I/O密集型場景
首先運行stress 模擬I/O壓力
stress -i 1 --timeout 600
第二個終端查看平均負載情況
watch -d uptime ..., load average: 1.06, 0.58, 0.37
第三個終端運行mpstat 查看cpu使用率的變化情況
# 顯示所有 CPU 的指標，並在間隔 5 秒輸出一組數據 $ mpstat -P ALL 5 1 Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:41:28 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 13:41:33 all 0.21 0.00 12.07 32.67 0.00 0.21 0.00 0.00 0.00 54.84 13:41:33 0 0.43 0.00 23.87 67.53 0.00 0.43 0.00 0.00 0.00 7.74 13:41:33 1 0.00 0.00 0.81 0.20 0.00 0.00 0.00 0.00 0.00 98.99
到底是什么進程導致iowait這么高呢
# 間隔 5 秒后輸出一組數據，-u 表示 CPU 指標 $ pidstat -u 5 1 Linux 4.15.0 (ubuntu) 09/22/18 _x86_64_ (2 CPU) 13:42:08 UID PID %usr %system %guest %wait %CPU CPU Command 13:42:13 0 104 0.00 3.39 0.00 0.00 3.39 1 kworker/1:1H 13:42:13 0 109 0.00 0.40 0.00 0.00 0.40 0 kworker/0:1H 13:42:13 0 2997 2.00 35.53 0.00 3.99 37.52 1 stress 13:42:13 0 3057 0.00 0.40 0.00 0.00 0.40 0 pidstat
可以看出是stress導致的
七、大量進程場景
當系統中運行進程超出cpu運行能力時，就會出現等待cpu進程
比如，我們還是用stress模擬8個進程
stress -c 8 --timeout 600
由於系統只有2個cpu,明顯比8個進程小得多，因而cpu處於嚴重過載
uptime ..., load average: 7.97, 5.93, 3.02
pidstat 查看進程情況
# 間隔 5 秒后輸出一組數據 $ pidstat -u 5 1 14:23:25 UID PID %usr %system %guest %wait %CPU CPU Command 14:23:30 0 3190 25.00 0.00 0.00 74.80 25.00 0 stress 14:23:30 0 3191 25.00 0.00 0.00 75.20 25.00 0 stress 14:23:30 0 3192 25.00 0.00 0.00 74.80 25.00 1 stress 14:23:30 0 3193 25.00 0.00 0.00 75.00 25.00 1 stress 14:23:30 0 3194 24.80 0.00 0.00 74.60 24.80 0 stress 14:23:30 0 3195 24.80 0.00 0.00 75.00 24.80 0 stress 14:23:30 0 3196 24.80 0.00 0.00 74.60 24.80 1 stress 14:23:30 0 3197 24.80 0.00 0.00 74.80 24.80 1 stress 14:23:30 0 3200 0.00 0.20 0.00 0.20 0.20 0 pidstat
可以看出，8個進程競爭2個cpu,每個進程等待cpu的時間（也就是代碼塊中的%wait）高達75%，這些超出cpu計算能力的進程，最終導致cpu過載