Java中的OutOfMemoryError的各種情況及解決和JVM內存結構


在JVM中內存一共有3種:Heap(堆內存),Non-Heap(非堆內存) [3]和Native(本地內存)。 [1]

堆內存是運行時分配所有類實例和數組的一塊內存區域。非堆內存包含方法區和JVM內部處理或優化所需的內存,存放有類結構(如運行時常量池、字段及方法結構,以及方法和構造函數代碼)。本地內存是由操作系統管理的虛擬內存。當一個應用內存不足時就會拋出java.lang.OutOfMemoryError 異常。 [1]

問題 表象 診斷工具
內存不足 OutOfMemoryError Java Heap Analysis Tool(jhat) [4]
Eclipse Memory Analyzer(mat) [5]
內存泄漏 使用內存增長,頻繁GC Java Monitoring and Management Console(jconsole) [6]
JVM Statistical Monitoring Tool(jstat) [7]
  一個類有大量的實例 Memory Map(jmap) - "jmap -histo" [8]
  對象被誤引用 jconsole [6] 或 jmap -dump + jhat [8][4]
Finalizers 對象等待結束 jconsole [6] 或 jmap -dump + jhat [8][4]

OutOfMemoryError在開發過程中是司空見慣的,遇到這個錯誤,新手程序員都知道從兩個方面入手來解決:一是排查程序是否有BUG導致內存泄漏;二是調整JVM啟動參數增大內存。OutOfMemoryError有好幾種情況,每次遇到這個錯誤時,觀察OutOfMemoryError后面的提示信息,就可以發現不同之處,如:

java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: unable to create new native thread
java.lang.OutOfMemoryError: PermGen space
java.lang.OutOfMemoryError: Requested array size exceeds VM limit

雖然都叫OutOfMemoryError,但每種錯誤背后的成因是不一樣的,解決方法也要視情況而定,不能一概而論。只有深入了解JVM的內存結構並仔細分析錯誤信息,才有可能做到對症下葯,手到病除。

JVM規范

JVM規范對Java運行時的內存划定了幾塊區域(詳見這里),有:JVM棧(Java Virtual Machine Stacks)、堆(Heap)、方法區(Method Area)、常量池(Runtime Constant Pool)、本地方法棧(Native Method Stacks),但對各塊區域的內存布局和地址空間卻沒有明確規定,而留給各JVM廠商發揮的空間。

HotSpot JVM

Sun自家的HotSpot JVM實現對堆內存結構有相對明確的說明。按照HotSpot JVM的實現,堆內存分為3個代:Young Generation、Old(Tenured) Generation、Permanent Generation。眾所周知,GC(垃圾收集)就是發生在堆內存這三個代上面的。Young用於分配新的Java對象,其又被分為三個部分:Eden Space和兩塊Survivor Space(稱為From和To),Old用於存放在GC過程中從Young Gen中存活下來的對象,Permanent用於存放JVM加載的class等元數據。詳情參見HotSpot內存管理白皮書。堆的布局圖示如下:

 

根據這些信息,我們可以推導出JVM規范的內存分區和HotSpot實現中內存區域的對應關系:JVM規范的Heap對應到Young和Old Generation,方法區和常量池對應到Permanent Generation。對於Stack內存,HotSpot實現也沒有詳細說明,但HotSpot白皮書上提到,Java線程棧是用宿主操作系統的棧和線程模型來表示的,Java方法和native方法共享相同的棧。因此,可以認為在HotSpot中,JVM棧和本地方法棧是一回事。

 

操作系統

由於一個JVM進程首先是一個操作系統進程,因此會遵循操作系統進程地址空間的規定。32位系統的地址空間為4G,即最多表示4GB的虛擬內存。在Linux系統中,高地址的1G空間(即0xC0000000~0xFFFFFFFF)被系統內核占用,低地址的3G空間(即0×00000000~0xBFFFFFFF)為用戶程序所使用(顯然JVM進程運行在這3G的地址空間中)。這3G的地址空間從低到高又分為多個段;Text段用於存放程序二進制代碼;Data段用於存放編譯時已初始化的靜態變量;BSS段用於存放未初始化的靜態變量;Heap即堆,用於動態內存分配的數據結構,C語言的malloc函數申請的內存即是從此處分配的,Java的new實例化的對象也是自此分配。不同於前面三個段,Heap空間是可變的,其上界由低地址向高地址增長。內存映射區,加載的動態鏈接庫位於這個區中;Stack即棧空間,線程的執行即是占用棧內存,棧空間也是可變的,但它是通過下界從高地址向低地址移動而增長的。詳情參見這里。圖示如下:

JVM本身是由native code所編寫的,所以JVM進程同樣具有Text/Data/BSS/Heap/MemoryMapping/Stack等內存段。而Java語言的Heap應當是建立在操作系統進程的Heap之上的,Java語言的Stack應該也是建立操作系統進程Stack之上的。 綜合HotSpot的內存區域和操作系統進程的地址空間,可以大致得到下列圖示:

Java線程的內存是位於JVM或操作系統的棧(Stack)空間中,不同於對象——是位於堆(Heap)中。這是很多新手程序員容易誤解的地方。注意,“Java線程的內存”這個用詞不是指Java.lang.Thread對象的內存,java.lang.Thread對象本身是在Heap中分配的,當調用start()方法之后,JVM會創建一個執行單元,最終會創建一個操作系統的native thread來執行,而這個執行單元或native thread是使用Stack內存空間的

經過上述鋪墊,可以得知,JVM進程的內存大致分為Heap空間和Stack空間兩部分。Heap又分為Young、Old、Permanent三個代。Stack分為Java方法棧和native方法棧(不做區分),在Stack內存區中,可以創建多個線程棧,每個線程棧占據Stack區中一小部分內存,線程棧是一個LIFO數據結構,每調用一個方法,會在棧頂創建一個Frame,方法返回時,相應的Frame會從棧頂移除(通過移動棧頂指針)。在這每一部分內存中,都有可能會出現溢出錯誤。回到開頭的OutOfMemoryError,下面逐個說明錯誤原因和解決方法(每個OutOfMemoryError都有可能是程序BUG導致,因此解決方法不包括對BUG的排查)。

OutOfMemoryError

1.java.lang.OutOfMemoryError: Java heap space
原因:Heap內存溢出,意味着Young和Old generation的內存不夠。
解決:調整java啟動參數 -Xms -Xmx 來增加Heap內存。

堆內存溢出時,首先判斷當前最大內存是多少(參數:-Xmx 或 -XX:MaxHeapSize=),可以通過命令 jinfo -flag MaxHeapSize 查看運行中的JVM的配置,如果該值已經較大則應通過 mat 之類的工具查找問題,或 jmap -histo查找哪個或哪些類占用了比較多的內存。參數-verbose:gc(-XX:+PrintGC) -XX:+PrintGCDetails可以打印GC相關的一些數據。如果問題比較難排查也可以通過參數-XX:+HeapDumpOnOutOfMemoryError在OOM之前Dump內存數據再進行分析。此問題也可以通過histodiff打印多次內存histogram之前的差值,有助於查看哪些類過多被實例化,如果過多被實例化的類被定位到后可以通過btrace再跟蹤。
下面代碼可再現該異常:
List<String> list = new ArrayList<String>();
while(true) list.add(new String("Consume more memory!"));

2.java.lang.OutOfMemoryError: unable to create new native thread
原因:Stack空間不足以創建額外的線程,要么是創建的線程過多,要么是Stack空間確實小了。
解決:由於JVM沒有提供參數設置總的stack空間大小,但可以設置單個線程棧的大小;而系統的用戶空間一共是3G,除了Text/Data/BSS/MemoryMapping幾個段之外,Heap和Stack空間的總量有限,是此消彼長的。因此遇到這個錯誤,可以通過兩個途徑解決:1.通過-Xss啟動參數減少單個線程棧大小,這樣便能開更多線程(當然不能太小,太小會出現StackOverflowError);2.通過-Xms -Xmx 兩參數減少Heap大小,將內存讓給Stack(前提是保證Heap空間夠用)。

在JVM中每啟動一個線程都會分配一塊本地內存,用於存放線程的調用棧,該空間僅在線程結束時釋放。當沒有足夠本地內存創建線程時就會出現該錯誤。通過以下代碼可以很容易再現該問題: [2]
 while(true){
    new Thread(new Runnable(){
        public void run() {
            try {
                Thread.sleep(60*60*1000);
            } catch(InterruptedException e) { }        
        }    
    }).start();
}

3.java.lang.OutOfMemoryError: PermGen space
原因:Permanent Generation空間不足,不能加載額外的類。
解決:調整-XX:PermSize= -XX:MaxPermSize= 兩個參數來增大PermGen內存。一般情況下,這兩個參數不要手動設置,只要設置-Xmx足夠大即可,JVM會自行選擇合適的PermGen大小。

PermGen space即永久代,是非堆內存的一個區域。主要存放的數據是類結構及調用了intern()的字符串。
List<Class<?>> classes = new ArrayList<Class<?>>();
while(true){
    MyClassLoader cl = new MyClassLoader();
    try{
        classes.add(cl.loadClass("Dummy"));
    }catch (ClassNotFoundException e) {
        e.printStackTrace();
    }
}
類加載的日志可以通過btrace跟蹤類的加載情況:
import com.sun.btrace.annotations.*;
import static com.sun.btrace.BTraceUtils.*;

@BTrace
public class ClassLoaderDefine {

    @SuppressWarnings("rawtypes")
    @OnMethod(clazz = "+java.lang.ClassLoader", method = "defineClass", location = @Location(Kind.RETURN))
    public static void onClassLoaderDefine(@Return Class cl) {
        println("=== java.lang.ClassLoader#defineClass ===");
        println(Strings.strcat("Loaded class: ", Reflective.name(cl)));
        jstack(10);
    }
}
除了btrace也可以打開日志加載的參數來查看加載了哪些類,可以把參數-XX:+TraceClassLoading打開,或使用參數-verbose:class(-XX:+TraceClassLoading, -XX:+TraceClassUnloading),在日志輸出中即可看到哪些類被加載到Java虛擬機中。該參數也可以通過jflag的命令java -jar jflagall.jar -flag +ClassVerbose動態打開-verbose:class

下面是一個使用了String.intern()的例子: 
List<String> list = new ArrayList<String>();
int i=0;
while(true) list.add(("Consume more memory!"+(i++)).intern());
你可以通過以下btrace腳本查找該類調用:
import com.sun.btrace.annotations.*;
import static com.sun.btrace.BTraceUtils.*;

@BTrace
public class StringInternTrace {

    @OnMethod(clazz = "/.*/", method = "/.*/",
              location = @Location(value = Kind.CALL, clazz = "java.lang.String", method = "intern"))
    public static void m(@ProbeClassName String pcm, @ProbeMethodName String probeMethod,
                         @TargetInstance Object instance) {
        println(strcat(pcm, strcat("#", probeMethod)));
        println(strcat(">>>> ", str(instance)));
    }
}

4.java.lang.OutOfMemoryError: Requested array size exceeds VM limit
原因:這個錯誤比較少見(試着new一個長度1億的數組看看),同樣是由於Heap空間不足。如果需要new一個如此之大的數組,程序邏輯多半是不合理的。
解決:修改程序邏輯吧。或者也可以通過-Xmx來增大堆內存。

詳細信息表示應用申請的數組大小已經超過堆大小。如應用程序申請512M大小的數組,但堆大小只有256M,這里會拋出OutOfMemoryError,因為此時無法突破虛擬機限制分配新的數組。在大多少情況下是堆內存分配的過小,或是應用嘗試分配一個超大的數組,如應用使用的算法計算了錯誤的大小。

5.在GC花費了大量時間,卻僅回收了少量內存時,也會報出OutOfMemoryError,我只遇到過一兩次。當使用-XX:+UseParallelGC或-XX:+UseConcMarkSweepGC收集器時,在上述情況下會報錯,在HotSpot GC Turning文檔上有說明:
The parallel(concurrent) collector will throw an OutOfMemoryError if too much time is being spent in garbage collection: if more than 98% of the total time is spent in garbage collection and less than 2% of the heap is recovered, an OutOfMemoryError will be thrown.
對這個問題,一是需要進行GC turning,二是需要優化程序邏輯。

6.java.lang.StackOverflowError
原因:這也內存溢出錯誤的一種,即線程棧的溢出,要么是方法調用層次過多(比如存在無限遞歸調用),要么是線程棧太小。
解決:優化程序設計,減少方法調用層次;調整-Xss參數增加線程棧大小。

7.java.lang.OutOfMemoryError: request <size> bytes for <reason>. Out of swap space?

本地內存分配失敗。一個應用的Java Native Interface(JNI)代碼、本地庫及Java虛擬機都從本地堆分配內存分配空間。當從本地堆分配內存失敗時拋出OutOfMemoryError異常。例如:當物理內存及交換分區都用完后,再次嘗試從本地分配內存時也會拋出OufOfMemoryError異常。

8. java.lang.OutOfMemoryError: <reason> <stack trace> (Native method)

如果異常的詳細信息是  <reason> <stack trace> (Native method) 且一個線程堆棧被打印,同時最頂端的楨是本地方法,該異常表明本地方法遇到了一個內存分配問題。與前面一種異常相比,他們的差異是內存分配失敗是JNI或本地方法發現或是Java虛擬機發現。

9.java.lang.OutOfMemoryError: Direct buffer memory

  即從Direct Memory分配內存失敗,Direct Buffer對象不是分配在堆上,是在Direct Memory分配,且不被GC直接管理的空間(但Direct Buffer的Java對象是歸GC管理的,只要GC回收了它的Java對象,操作系統才會釋放Direct Buffer所申請的空間)。通過-XX:MaxDirectMemorySize=可以設置Direct內存的大小。

List<ByteBuffer> list = new ArrayList<ByteBuffer>();
while(true) list.add(ByteBuffer.allocateDirect(10000000));

10. java.lang.OutOfMemoryError: GC overhead limit exceeded

JDK6新增錯誤類型。當GC為釋放很小空間占用大量時間時拋出。一般是因為堆太小。導致異常的原因:沒有足夠的內存。可以通過參數-XX:-UseGCOverheadLimit關閉這個特性。

11. java.lang.OutOfMemoryError: request <size> bytes for <reason>. Out of swap space?

本地內存分配失敗。一個應用的Java Native Interface(JNI)代碼、本地庫及Java虛擬機都從本地堆分配內存分配空間。當從本地堆分配內存失敗時拋出OutOfMemoryError異常。例如:當物理內存及交換分區都用完后,再次嘗試從本地分配內存時也會拋出OufOfMemoryError異常。

12java.lang.OutOfMemoryError: <reason> <stack trace> (Native method)

如果異常的詳細信息是 <reason> <stack trace> (Native method) 且一個線程堆棧被打印,同時最頂端的楨是本地方法,該異常表明本地方法遇到了一個內存分配問題。與前面一種異常相比,他們的差異是內存分配失敗是JNI或本地方法發現或是Java虛擬機發現。 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM