jstack 堆棧日志分析

一、線程的狀態

 

線程間的狀態轉換： 

 

1. 新建(new)：新創建了一個線程對象。

2. 可運行(runnable)：線程對象創建后，其他線程(比如main線程）調用了該對象的start()方法。該狀態的線程位於可運行線程池中，等待被線程調度選中，獲取cpu 的使用權 。

3. 運行(running)：可運行狀態(runnable)的線程獲得了cpu 時間片（timeslice） ，執行程序代碼。

4. 阻塞(block)：阻塞狀態是指線程因為某種原因放棄了cpu 使用權，也即讓出了cpu timeslice，暫時停止運行。直到線程進入可運行(runnable)狀態，才有機會再次獲得cpu timeslice 轉到運行(running)狀態。阻塞的情況分三種： 

(一). 等待阻塞：運行(running)的線程執行o.wait()方法，JVM會把該線程放入等待隊列(waitting queue)中。

(二). 同步阻塞：運行(running)的線程在獲取對象的同步鎖時，若該同步鎖被別的線程占用，則JVM會把該線程放入鎖池(lock pool)中。

(三). 其他阻塞：運行(running)的線程執行Thread.sleep(long ms)或t.join()方法，或者發出了I/O請求時，JVM會把該線程置為阻塞狀態。當sleep()狀態超時、join()等待線程終止或者超時、或者I/O處理完畢時，線程重新轉入可運行(runnable)狀態。

5. 死亡(dead)：線程run()、main() 方法執行結束，或者因異常退出了run()方法，則該線程結束生命周期。死亡的線程不可再次復生。

 

二、線程的entry sets 和 wait sets

有關Java的線程鎖與entry set和wait set的關系，抑或是說這個圖包含了Java線程的奧秘，不懂這個圖或者是沒有見過這個圖的話，只能說明對於Java的線程鎖還是一知半解的。

（1）所有期待獲得鎖的線程，在鎖已經被其它線程擁有的時候，這些期待獲得鎖的線程就進入了Object Lock的entry set區域。

（2）所有曾經獲得過鎖，但是由於其它必要條件不滿足而需要wait的時候，線程就進入了Object Lock的wait set區域 。

（3）在wait set區域的線程獲得Notify/notifyAll通知的時候，隨機的一個Thread（Notify）或者是全部的Thread（NotifyALL）從Object Lock的wait set區域進入了entry set中。

（4）在當前擁有鎖的線程釋放掉鎖的時候，處於該Object Lock的entryset區域的線程都會搶占該鎖，但是只能有任意的一個Thread能取得該鎖，而其他線程依然在entry set中等待下次來搶占到鎖之后再執行。

 

三、實例分析

jstack Dump 日志文件中的線程狀態

dump 文件里，值得關注的線程狀態有：

1. 死鎖，Deadlock（重點關注） 
2. 執行中，Runnable   
3. 等待資源，Waiting on condition（重點關注） 
4. 等待獲取監視器，Waiting on monitor entry（重點關注）
5. 暫停，Suspended
6. 對象等待中，Object.wait() 或 TIMED_WAITING
7. 阻塞，Blocked（重點關注）  
8. 停止，Parked

下面我們先從第一個例子開始分析，然后再列出不同線程狀態的含義以及注意事項，最后再補充兩個實例。

綜合示范一： Waiting to lock 和 Blocked

實例如下：

"RMI TCP Connection(267865)-172.16.5.25" daemon prio=10 tid=0x00007fd508371000 nid=0x55ae  waiting for monitor entry [0x00007fd4f8684000]

   java.lang.Thread.State:  BLOCKED (on object monitor)

at org.apache.log4j.Category.callAppenders(Category.java:201)

-  waiting to lock <0x00000000acf4d0c0> (a org.apache.log4j.Logger)

at org.apache.log4j.Category.forcedLog(Category.java:388)

at org.apache.log4j.Category.log(Category.java:853)

at org.apache.commons.logging.impl.Log4JLogger.warn(Log4JLogger.java:234)

at com.tuan.core.common.lang.cache.remote.SpyMemcachedClient.get(SpyMemcachedClient.java:110)

……

1）線程狀態是  Blocked，阻塞狀態。說明線程等待資源超時！

2）“  waiting to lock <0x00000000acf4d0c0>”指，線程在等待給這個 0x00000000acf4d0c0 地址上鎖（英文可描述為：trying to obtain  0x00000000acf4d0c0 lock）。

3）在 dump 日志里查找字符串 0x00000000acf4d0c0，發現有大量線程都在等待給這個地址上鎖。如果能在日志里找到誰獲得了這個鎖（如locked < 0x00000000acf4d0c0 >），就可以順藤摸瓜了。

4）“ waiting for monitor entry”說明此線程通過 synchronized(obj) {……} 申請進入了臨界區，從而進入了下圖1中的“Entry Set”隊列，但該 obj 對應的 monitor 被其他線程擁有，所以本線程在 Entry Set 隊列中等待。

5）第一行里，"RMI TCP Connection(267865)-172.16.5.25"是 Thread Name 。tid指Java Thread id。nid指native線程的id。prio是線程優先級。[0x00007fd4f8684000]是線程棧起始地址。

 

Dump文件中的線程狀態含義及注意事項

含義如下所示：

• Deadlock：死鎖線程，一般指多個線程調用間，進入相互資源占用，導致一直等待無法釋放的情況。
• Runnable：一般指該線程正在執行狀態中，該線程占用了資源，正在處理某個請求，有可能正在傳遞SQL到數據庫執行，有可能在對某個文件操作，有可能進行數據類型等轉換。
• Waiting on condition：等待資源，或等待某個條件的發生。具體原因需結合 stacktrace來分析。
  • 如果堆棧信息明確是應用代碼，則證明該線程正在等待資源。一般是大量讀取某資源，且該資源采用了資源鎖的情況下，線程進入等待狀態，等待資源的讀取。
  • 又或者，正在等待其他線程的執行等。
  • 如果發現有大量的線程都在處在 Wait on condition，從線程 stack看，正等待網絡讀寫，這可能是一個網絡瓶頸的征兆。因為網絡阻塞導致線程無法執行。
    • 一種情況是網絡非常忙，幾乎消耗了所有的帶寬，仍然有大量數據等待網絡讀寫；
    • 另一種情況也可能是網絡空閑，但由於路由等問題，導致包無法正常的到達。
  • 另外一種出現 Wait on condition的常見情況是該線程在 sleep，等待 sleep的時間到了時候，將被喚醒。
• Blocked：線程阻塞，是指當前線程執行過程中，所需要的資源長時間等待卻一直未能獲取到，被容器的線程管理器標識為阻塞狀態，可以理解為等待資源超時的線程。
• Waiting for monitor entry 和 in Object.wait()：Monitor是 Java中用以實現線程之間的互斥與協作的主要手段，它可以看成是對象或者 Class的鎖。每一個對象都有，也僅有一個 monitor。從下圖1中可以看出，每個 Monitor在某個時刻，只能被一個線程擁有，該線程就是 “Active Thread”，而其它線程都是 “Waiting Thread”，分別在兩個隊列 “ Entry Set”和 “Wait Set”里面等候。在 “Entry Set”中等待的線程狀態是 “Waiting for monitor entry”，而在 “Wait Set”中等待的線程狀態是 “in Object.wait()”。

圖1 A Java Monitor

 

綜合示范二： W aiting on condition  和 TIMED_WAITING

實例如下：

"RMI TCP Connection(idle)" daemon prio=10 tid=0x00007fd50834e800 nid=0x56b2  waiting on condition [0x00007fd4f1a59000]

   java.lang.Thread.State:  TIMED_WAITING (parking)

at sun.misc.Unsafe.park(Native Method)

-  parking to wait for  <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)

at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:198)

at java.util.concurrent.SynchronousQueue$TransferStack.awaitFulfill(SynchronousQueue.java:424)

at java.util.concurrent.SynchronousQueue$TransferStack.transfer(SynchronousQueue.java:323)

at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:874)

at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:945)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)

at java.lang.Thread.run(Thread.java:662)

1）“ TIMED_WAITING (parking)”中的 timed_waiting 指等待狀態，但這里指定了時間，到達指定的時間后自動退出等待狀態；parking指線程處於掛起中。

2）“ waiting on condition”需要與堆棧中的“ parking to wait for  <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)”結合來看。首先，本線程肯定是在等待某個條件的發生，來把自己喚醒。其次，SynchronousQueue 並不是一個隊列，只是線程之間移交信息的機制，當我們把一個元素放入到 SynchronousQueue 中時必須有另一個線程正在等待接受移交的任務，因此這就是本線程在等待的條件。

3）別的就看不出來了。

綜合示范三：in Obejct.wait() 和 TIMED_WAITING

實例如下：

"RMI RenewClean-[172.16.5.19:28475]" daemon prio=10 tid=0x0000000041428800 nid=0xb09  in Object.wait() [0x00007f34f4bd0000]

   java.lang.Thread.State:  TIMED_WAITING (on object monitor)

at java.lang.Object.wait(Native Method)

-  waiting on <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)

at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:118)

-  locked <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)

at sun.rmi.transport.DGCClient$EndpointEntry$RenewCleanThread.run(DGCClient.java:516)

at java.lang.Thread.run(Thread.java:662)

1）“ TIMED_WAITING (on object monitor)”，對於本例而言，是因為本線程調用了 java.lang.Object.wait(long timeout) 而進入等待狀態。

2）“Wait Set”中等待的線程狀態就是“  in Object.wait() ”。當線程獲得了 Monitor，進入了臨界區之后，如果發現線程繼續運行的條件沒有滿足，它則調用對象（一般就是被 synchronized 的對象）的 wait() 方法，放棄了 Monitor，進入 “Wait Set”隊列。只有當別的線程在該對象上調用了 notify() 或者 notifyAll() ，“ Wait Set”隊列中線程才得到機會去競爭，但是只有一個線程獲得對象的 Monitor，恢復到運行態。 

3）RMI RenewClean 是 DGCClient 的一部分。 DGC 指的是 Distributed GC，即分布式垃圾回收。

4）請注意，是先  locked <0x00000000aa672478>，后  waiting on <0x00000000aa672478>，之所以先鎖再等同一個對象，請看下面它的代碼實現：

static private class  Lock { };

private Lock lock = new Lock();

public Reference<? extends T>  remove(long timeout)

{

    synchronized (lock) {

        Reference<?  extends T> r = reallyPoll();

         if (r != null) return r;

         for (;;) {

             lock.wait(timeout);

             r = reallyPoll();

            ……

       }

}

即，線程的執行中，先用 synchronized 獲得了這個對象的 Monitor（對應於   locked <0x00000000aa672478> ）；當執行到 lock.wait(timeout);，線程就放棄了 Monitor 的所有權，進入“Wait Set”隊列（對應於  waiting on <0x00000000aa672478> ）。

5）從堆棧信息看，是正在清理 remote references to remote objects ，引用的租約到了，分布式垃圾回收在逐一清理呢。

 

 

 

參考：

http://blog.csdn.net/zhangzhaokun/article/details/6395557

http://www.cnblogs.com/zhengyun_ustc/archive/2013/03/18/tda.html

http://www.cnblogs.com/zhengyun_ustc/archive/2013/01/06/dumpanalysis.html