Linux系統中負載較高問題排查思路與解決方法


Load 就是對計算機干活多少的度量,Load Average 就是一段時間(1分鍾、5分鍾、15分鍾)內平均Load。

一、Load分析:

情況1:CPU高、Load高
  1. 通過top命令查找占用CPU最高的進程PID;
  2. 通過top -Hp PID查找占用CPU最高的線程TID;
  3. 對於java程序,使用jstack打印線程堆棧信息(可聯系業務進行排查定位);
  4. 通過printf %x tid打印出最消耗CPU線程的十六進制;
  5. 在堆棧信息中查看該線程的堆棧信息;
情況2:CPU低、Load高
  1. 通過top命令查看CPU等待IO時間,即%wa
  2. 通過iostat -d -x -m 1 10查看磁盤IO情況;(安裝命令 yum install -y sysstat)
  3. 通過sar -n DEV 1 10查看網絡IO情況;
  4. 通過如下命令查找占用IO的程序;
ps -e -L h o state,cmd  | awk '{if($1=="R"||$1=="D"){print $0}}' | sort | uniq -c | sort -k 1nr

二、CPU高、Load高情況分析

  • 使用vmstat 查看系統緯度的 CPU 負載;
  • 使用 top 查看進程緯度的 CPU 負載;

2.1、使用 vmstat 查看系統緯度的 CPU 負載

可以通過 vmstat 從系統維度查看 CPU 資源的使用情況

格式:vmstat -n 1 -n 1 表示結果一秒刷新一次

[root@k8s-10 ~]# vmstat -n 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  1      0 2798000   2076 6375040    0    0    10    76   10   49  6  2 91  1  0
 0  0      0 2798232   2076 6375128    0    0     0   207 7965 12525  7  2 90  2  0

返回結果中的主要數據列說明:

  • r: 表示系統中 CPU 等待處理的線程。由於 CPU 每次只能處理一個線程,所以,該數值越大,通常表示系統運行越慢。

  • b: 表示阻塞的進程,這個不多說,進程阻塞,大家懂的。

  • us: 用戶CPU時間,我曾經在一個做加密解密很頻繁的服務器上,可以看到us接近100,r運行隊列達到80(機器在做壓力測試,性能表現不佳)。

  • sy: 系統CPU時間,如果太高,表示系統調用時間長,例如是IO操作頻繁。

  • wa:IO 等待消耗的 CPU 時間百分比。該值較高時,說明 IO 等待比較嚴重,這可能磁盤大量作隨機訪問造成的,也可能是磁盤性能出現了瓶頸。

  • id:處於空閑狀態的 CPU 時間百分比。如果該值持續為 0,同時 sy 是 us 的兩倍,則通常說明系統則面臨着 CPU 資源的短缺。

    常見問題及解決方法:

  • 如果r經常大於4,且id經常少於40,表示cpu的負荷很重。

  • 如果pi,po長期不等於0,表示內存不足。

  • 如果disk經常不等於0,且在b中的隊列大於3,表示io性能不好。

2.1、使用 top 查看進程緯度的 CPU 負載

可以通過 top 從進程緯度來查看其 CPU、內存等資源的使用情況。

[root@k8s-10 ~]# top -c
top - 19:53:49 up 2 days,  7:57,  3 users,  load average: 0.76, 0.79, 0.58
Tasks: 282 total,   2 running, 280 sleeping,   0 stopped,   0 zombie
%Cpu(s):  2.4 us,  1.4 sy,  0.0 ni, 95.0 id,  1.2 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 12304204 total,  2800864 free,  3119064 used,  6384276 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  8164632 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
29884 root      20   0 5346580 929332  14556 S   0.0  7.6   6:19.19 /opt/jdk1.8.0_144/bin/java -Djava.util.logging.config.file=/usr/local/tomcat/conf/logging.properties -Djava.util.logging.manager=org.apach+
  875 root      20   0  729524 563424  38612 S   3.1  4.6  93:22.70 kube-apiserver --authorization-mode=Node,RBAC --service-node-port-range=80-60000 --advertise-address=10.68.7.162 --allow-privileged=true -+
 3870 nfsnobo+  20   0  910376 317248  22812 S   1.6  2.6  42:29.59 /bin/prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/prometheus --storage.tsdb.retention=1d --web.enable-life+

默認界面上第三行會顯示當前 CPU 資源的總體使用情況,下方會顯示各個進程的資源占用情況。

可以直接在界面輸入大小字母 P,來使監控結果按 CPU 使用率倒序排列,進而定位系統中占用 CPU 較高的進程。最后,根據系統日志和程序自身相關日志,對相應進程做進一步排查分析,以判斷其占用過高 CPU 的原因。

2.2、strace命令分析

https://oa.kedacom.com/confluence/pages/viewpage.action?pageId=77136289

三、CPU低、Load高情況分析

問題描述
Linux 系統沒有業務程序運行,通過 top 觀察,類似如下圖所示,CPU 很空閑,但是 load average 卻非常高:

處理辦法

  • load average 是對 CPU 負載的評估,其值越高,說明其任務隊列越長,處於等待執行的任務越多。
  • 出現此種情況時,可能是由於僵死進程導致的。可以通過指令ps -axjf查看是否存在 D 狀態進程。
  • D 狀態是指不可中斷的睡眠狀態。該狀態的進程無法被 kill,也無法自行退出。只能通過恢復其依賴的資源或者重啟系統來解決。
等待I/O的進程通過處於uninterruptible sleep或D狀態;通過給出這些信息我們就可以簡單的查找出處在wait狀態的進程
ps -eo state,pid,cmd | grep "^D"; echo "----"

- 查找占用IO的程序
ps -e -L h o state,cmd  | awk '{if($1=="R"||$1=="D"){print $0}}' | sort | uniq -c | sort -k 1nr


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM