JVM命令-java服務器故障排查

一、top（Linux命令）

　執行top命令：    （查看進程15477的詳細情況，下文用到）

系統信息（前五行）：

• 第1行：Top 任務隊列信息(系統運行狀態及平均負載)，與uptime命令結果相同。 
  
  • 第1段：系統當前時間，例如：16:07:37
  • 第2段：系統運行時間，未重啟的時間，時間越長系統越穩定。 
    
    • 格式：up xx days, HH:MM
    • 例如：241 days, 20:11, 表示連續運行了241天20小時11分鍾
  • 第3段：當前登錄用戶數，例如：1 user，表示當前只有1個用戶登錄
  • 第4段：系統負載，即任務隊列的平均長度，3個數值分別統計最近1，5，15分鍾的系統平均負載 
    
    • 系統平均負載：單核CPU情況下，0.00 表示沒有任何負荷，1.00表示剛好滿負荷，超過1側表示超負荷，理想值是0.7；
    • 多核CPU負載：CPU核數 * 理想值0.7 = 理想負荷，例如：4核CPU負載不超過2.8何表示沒有出現高負載。
• 第2行：Tasks 進程相關信息 
  
  • 第1段：進程總數，例如：Tasks: 231 total, 表示總共運行231個進程
  • 第2段：正在運行的進程數，例如：1 running,
  • 第3段：睡眠的進程數，例如：230 sleeping,
  • 第4段：停止的進程數，例如：0 stopped,
  • 第5段：僵屍進程數，例如：0 zombie
• 第3行：Cpus CPU相關信息，如果是多核CPU，按數字1可顯示各核CPU信息，此時1行將轉為Cpu核數行，數字1可以來回切換。 
  
  • 第1段：us 用戶空間占用CPU百分比，例如：Cpu(s): 12.7%us,
  • 第2段：sy 內核空間占用CPU百分比，例如：8.4%sy,
  • 第3段：ni 用戶進程空間內改變過優先級的進程占用CPU百分比，例如：0.0%ni,
  • 第4段：id 空閑CPU百分比，例如：77.1%id,
  • 第5段：wa 等待輸入輸出的CPU時間百分比，例如：0.0%wa,
  • 第6段：hi CPU服務於硬件中斷所耗費的時間總額，例如：0.0%hi,
  • 第7段：si CPU服務軟中斷所耗費的時間總額，例如：1.8%si,
  • 第8段：st Steal time 虛擬機被hypervisor偷去的CPU時間（如果當前處於一個hypervisor下的vm，實際上hypervisor也是要消耗一部分CPU處理時間的）
• 第4行：Mem 內存相關信息（Mem: 12196436k total, 12056552k used, 139884k free, 64564k buffers） 
  
  • 第1段：物理內存總量，例如：Mem: 12196436k total,
  • 第2段：使用的物理內存總量，例如：12056552k used,
  • 第3段：空閑內存總量，例如：Mem: 139884k free,
  • 第4段：用作內核緩存的內存量，例如：64564k buffers
•  第5行：Swap 交換分區相關信息（Swap: 2097144k total, 151016k used, 1946128k free, 3120236k cached） 
  
  • 第1段：交換區總量，例如：Swap: 2097144k total,
  • 第2段：使用的交換區總量，例如：151016k used,
  • 第3段：空閑交換區總量，例如：1946128k free,
  • 第4段：緩沖的交換區總量，3120236k cached

 進程信息：

　　在top命令中按f按可以查看顯示的列信息，按對應字母來開啟/關閉列，大寫字母表示開啟，小寫字母表示關閉。帶*號的是默認列。

• A: PID = (Process Id) 進程Id；
• E: USER = (User Name) 進程所有者的用戶名；
• H: PR = (Priority) 優先級
• I: NI = (Nice value) nice值。負值表示高優先級，正值表示低優先級
• O: VIRT = (Virtual Image (kb)) 進程使用的虛擬內存總量，單位kb。VIRT=SWAP+RES
• Q: RES = (Resident size (kb)) 進程使用的、未被換出的物理內存大小，單位kb。RES=CODE+DATA
• T: SHR = (Shared Mem size (kb)) 共享內存大小，單位kb
• W: S = (Process Status) 進程狀態。D=不可中斷的睡眠狀態,R=運行,S=睡眠,T=跟蹤/停止,Z=僵屍進程
• K: %CPU = (CPU usage) 上次更新到現在的CPU時間占用百分比
• N: %MEM = (Memory usage (RES)) 進程使用的物理內存百分比
• M: TIME+ = (CPU Time, hundredths) 進程使用的CPU時間總計，單位1/100秒 
  b: PPID = (Parent Process Pid) 父進程Id 
  c: RUSER = (Real user name) 
  d: UID = (User Id) 進程所有者的用戶id 
  f: GROUP = (Group Name) 進程所有者的組名 
  g: TTY = (Controlling Tty) 啟動進程的終端名。不是從終端啟動的進程則顯示為 ? 
  j: P = (Last used cpu (SMP)) 最后使用的CPU，僅在多CPU環境下有意義 
  p: SWAP = (Swapped size (kb)) 進程使用的虛擬內存中，被換出的大小，單位kb 
  l: TIME = (CPU Time) 進程使用的CPU時間總計，單位秒 
  r: CODE = (Code size (kb)) 可執行代碼占用的物理內存大小，單位kb 
  s: DATA = (Data+Stack size (kb)) 可執行代碼以外的部分(數據段+棧)占用的物理內存大小，單位kb 
  u: nFLT = (Page Fault count) 頁面錯誤次數 
  v: nDRT = (Dirty Pages count) 最后一次寫入到現在，被修改過的頁面數 
  y: WCHAN = (Sleeping in Function) 若該進程在睡眠，則顯示睡眠中的系統函數名 
  z: Flags = (Task Flags <sched.h>) 任務標志，參考 sched.h
• X: COMMAND = (Command name/line) 命令名/命令行

參考  Linux性能分析工具top命令詳解

 

執行top -Hp PID，如 top -Hp 15477

查看某進程中的線程  注：此時PID是線程id

如線程15571有異常需要查看，使用jstack打印堆棧，查看線程15571狀態（15571 16進制=3cd3）

二、jstack

 參考 java命令--jstack 工具

　　  Java命令學習系列（二）——Jstack

　　需要到JDK安裝目錄下使用（可通過ps x查看java進程，得到jdk安裝目錄）

　　./jstack PID(進程id)   ./jstack 15477

　　紅框中即為線程15571(16進制=3cd3) 狀態

分析jstack日志：

監視器Monitor：

 Monitor是 Java中用以實現線程之間的互斥與協作的主要手段，它可以看成是對象或者 Class的鎖。

每一個對象都有，也僅有一個 monitor。

下面這個圖，描述了線程和Monitor之間關系，以及線程的狀態轉換：

進入區(Entrt Set)：表示線程通過synchronized要求獲取對象的鎖。如果對象被鎖住，則進入擁有者；否則在進入區等待。一旦對象鎖被其他線程釋放，立即參與競爭。

擁有者(The Owner)：表示某一線程成功競爭到對象鎖。

等待區(Wait Set)：表示線程通過對象的object.wait()方法，釋放對象的鎖，並在等待區等待被喚醒。

從圖中可以看出，一個 Monitor在某個時刻，只能被一個線程擁有，該線程就是 Active Thread，而其它線程都是 Waiting Thread，分別在兩個隊列 Entry Set和 Wait Set里面等候。

在 Entry Set中等待的線程動作是 Waiting for monitor entry。

在 Wait Set中等待的線程動作是 in Object.wait()。當一個線程申請進入臨界區時，它就進入了 Entry Set隊列。

（我們稱被 synchronized保護起來的代碼段為臨界區。當一個線程申請進入臨界區時，它就進入了 “Entry Set ”隊列）

線程狀態：

NEW：未啟動的。不會出現在Dump中。

RUNNABLE：在虛擬機內執行的，運行中狀態。The Owner區

BLOCKED：受阻塞並等待監視器鎖。在Entry Set區等鎖。

WATING：無限期等待另一個線程執行特定操作。在Wait Set區等待某個condition或monitor發生，一般停留在wait()等語句里。

TIMED_WATING：有時限的等待另一個線程的特定操作。在Wait Set區和WAITING的區別是wait() 等語句加上了時間限制 wait(timeout)。

TERMINATED：已退出的。

調用修飾

表示線程在方法調用時，額外的重要的操作。修飾上方的方法調用。

locked <地址> 目標：使用synchronized申請對象鎖成功，監視器的擁有者。The Owner區。

waiting to lock <地址> 目標：使用synchronized申請對象鎖未成功，在Entry Set區等鎖。線程狀態為Blocked

waiting on <地址> 目標：使用synchronized申請對象鎖成功后，釋放鎖，在Wait Set區等鎖。線程狀態為WAITING或TIMED_WATING

parking to wait for <地址> 目標：調用了park()，在Wait Set區，等待許可。

 （park是基本的線程阻塞原語，不通過監視器在對象上阻塞。

　 park： 進入WAITING狀態，對比wait不需要獲得鎖就可以讓線程WAITING，通過unpark喚醒）

線程動作

線程狀態產生的原因。

runnable：The Owner區，狀態RUNNABLE

in Object.wait()：調用wait()，Wait Set區，狀態為WAITING或TIMED_WAITING，修飾waiting on 

waiting for monitor entry：等鎖，Entry Set區，狀態BLOCKED，修飾waiting to lock

waiting on condition：因某種條件被park，Wait Set區，狀態為parking to wait for

sleeping：休眠的線程，調用了Thread.sleep()

總結

1、查看線程dump，先看線程狀態/線程動作（比較直觀），可以確定線程目前處於哪個階段。然后看調用修飾及鎖情況，基本就可以確定次線程是否有問題；

2、可以短時間（可能有問題的時間段）內多次打印線程快照，然后查看可能有問題的某一線程在這幾次的情況，可以有效查找問題。

 三、jps

類似Linux命令ps 

參考 Java命令學習系列（一）——Jps

./jps

 ./jps -q

./jps -m

./jps -l

./jps -v

 四、jmap

參考  Java命令學習系列（三）——Jmap

         java命令--jmap命令使用

 jmap -heap PID：堆使用情況

jmap -histo PID：對象情況

（jmap -histo:live 這個命令執行，JVM會先觸發gc，然后再統計信息

   重點看項目上的類：[C是字符串數組，String用；[B是字節數組，網絡層用到。這兩個比較大一般沒關系

　　[C is a char[]
　　[S is a short[]
　　[I is a int[]
　　[B is a byte[]
　　[[I is a int[][]

 ）