Linux下JVM中可生成的最大Thread數量

轉自：https://www.linuxidc.com/Linux/2011-12/48616.htm

最近想測試下Openfire下的最大並發數，需要開大量線程來模擬客戶端。對於一個JVM實例到底能開多少個線程一直心存疑惑，所以打算實際測試下，簡單google了把，找到影響線程數量的因素有下面幾個：

-Xms	intial java heap size
-Xmx	maximum java heap size
-Xss	the stack size for each thread
系統限制	系統最大可開線程數

測試程序如下：

import java.util.concurrent.atomic.AtomicInteger;
public class TestThread extends Thread {
    private static final AtomicInteger count = new AtomicInteger();
    public static void main(String[] args) {
        while (true)
            (new TestThread()).start();
    }
    @Override
    public void run() {
        System.out.println(count.incrementAndGet());
        while (true)
            try {
                Thread.sleep(Integer.MAX_VALUE);
            } catch (InterruptedException e) {
                break;
            }
    }
}

測試環境：

系統：Ubuntu 10.04 Linux Kernel 2.6 （32位）

內存：2G

JDK：1.7

 

測試結果：

◆ 不考慮系統限制

-Xms	-Xmx	-Xss	結果
1024m	1024m	1024k	1737
1024m	1024m	64k	26077
512m	512m	64k	31842
256m	256m	64k	31842

在創建的線程數量達到31842個時，系統中無法創建任何線程。

 

由上面的測試結果可以看出增大堆內存（-Xms，-Xmx）會減少可創建的線程數量，增大線程棧內存（-Xss，32位系統中此參數值最小為60K）也會減少可創建的線程數量。

 

◆ 結合系統限制

線程數量31842的限制是是由系統可以生成的最大線程數量決定的：/proc/sys/kernel/threads-max，可其默認值是32080。修改其值為10000：echo 10000 > /proc/sys/kernel/threads-max，修改后的測試結果如下：

-Xms	-Xmx	-Xss	結果
256m	256m	64k	9761

這樣的話，是不是意味着可以配置盡量多的線程？再做修改：echo 1000000 > /proc/sys/kernel/threads-max，修改后的測試結果如下：

-Xms	-Xmx	-Xss	結果
256m	256m	64k	32279
128m	128m	64k	32279

發現線程數量在達到32279以后，不再增長。查了一下，32位Linux系統可創建的最大pid數是32678，這個數值可以通過/proc/sys/kernel/pid_max來做修改（修改方法同threads-max），但是在32系統下這個值只能改小，無法更大。在threads-max一定的情況下，修改pid_max對應的測試結果如下：

pid_max	-Xms	-Xmx	-Xss	結果
1000	128m	128m	64k	582
10000	128m	128m	64k	9507

在Windows上的情況應該類似，不過相比Linux，Windows上可創建的線程數量可能更少。基於線程模型的服務器總要受限於這個線程數量的限制。

 

總結：

JVM中可以生成的最大數量由JVM的堆內存大小、Thread的Stack內存大小、系統最大可創建的線程數量（Java線程的實現是基於底層系統的線程機制來實現的，Windows下_beginthreadex，Linux下pthread_create）三個方面影響。具體數量可以根據Java進程可以訪問的最大內存（32位系統上一般2G）、堆內存、Thread的Stack內存來估算。

序：

在64位Linux系統（CentOS 6， 3G內存）下測試，發現還有一個參數是會限制線程數量：max user process（可通過ulimit –a查看，默認值1024，通過ulimit –u可以修改此值），這個值在上面的32位Ubuntu測試環境下並無限制。

將threads-max，pid_max，max user process，這三個參數值都修改成100000，-Xms，-Xmx盡量小（128m，64m），-Xss盡量小（64位下最小104k，可取值128k）。事先預測在這樣的測試環境下，線程數量就只會受限於測試環境的內存大小（3G），可是實際的測試結果是線程數量在達到32K（32768，創建的數量最多的時候大概是33000左右）左右時JVM是拋出警告：Attempt to allocate stack guard pages failed，然后出現OutOfMemoryError無法創建本地線程。查看內存后發現還有很多空閑，所以應該不是內存容量的原因。Google此警告無果，暫時不知什么原因，有待進一步研究。

序2：今天無意中發現文章[7]，馬上試了下，果然這個因素會影響線程創建數量，按文中描述把/proc/sys/vm/max_map_count的數量翻倍，從65536變為131072，創建的線程總數量達到65000+，電腦基本要卡死（3G內存）… 簡單查了下這個參數的作用，在[8]中的描述如下：

“This file contains the maximum number of memory map areas a process may have. Memory map areas are used as a side-effect of calling malloc, directly by mmap and mprotect, and also when loading shared libraries.

While most applications need less than a thousand maps, certain programs, particularly malloc debuggers, may consume lots of them, e.g., up to one or two maps per allocation.

The default value is 65536.”

 

OK，這個問題總算完滿解決，最后總結下影響Java線程數量的因素：

Java虛擬機本身：-Xms，-Xmx，-Xss；

系統限制：

/proc/sys/kernel/pid_max，

/proc/sys/kernel/thread-max，

max_user_process（ulimit -u），

/proc/sys/vm/max_map_count。

 

根據上述結論有一個實際的案例。轉自：http://blog.csdn.net/yaowj2/article/details/50235491

 

有應用報出這樣的異常“java.lang.OutOfMemoryError: unable to create new native thread”。甚至機器上執行shell命令也會報”-bash: fork: Resource temporarily unavailable”異常。機器上的其他應用如hadoop也會受影響：

1	2013-08-21 20:15:48,496 FATAL org.apache.hadoop.yarn.event.AsyncDispatcher: Error in dispatcher thread

2	java.lang.OutOfMemoryError: unable to create new native thread

3	at java.lang.Thread.start0(Native Method)

4	at java.lang.Thread.start(Thread.java:640)

5	at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.

6	ResourceLocalizationService$LocalizerTracker.handle(ResourceLocalizationService.java:524)

7	at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.

8	ResourceLocalizationService$LocalizerTracker.handle(ResourceLocalizationService.java:456)

9	at org.apache.hadoop.yarn.event.AsyncDispatcher.dispatch(AsyncDispatcher.java:128)

10	at org.apache.hadoop.yarn.event.AsyncDispatcher$1.run(AsyncDispatcher.java:77)

11	at java.lang.Thread.run(Thread.java:662)

12	2013-08-21 20:15:48,497 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Exiting, bbye..

一看以為內存不夠導致無法創建新的線程，但是觀察機器上的內存還有空閑，猜測是哪個地方對線程創建有限制。

首先需要排除操作系統對線程創建數的限制，設置操作系統可以支持創建10萬個線程：

1	echo "100000" > /proc/sys/kernel/threads-max

2	echo "100000" > /proc/sys/kernel/pid_max     （默認32768）

3	echo "200000" > /proc/sys/vm/max_map_count   （默認65530）

4	ulimit -u unlimited   (設置max user processes的值)

當前測試環境為：

1	[[e-mail] ~]$ uname -a

2	Linux bufer108081.tbc 2.6.32-220.23.2.ali927.el5.x86_64 #1 SMP Mon Jan 28 14:57:06 CST 2013 x86_64 x86_64 x86_64 GNU/Linux

3	[[e-mail] ~]$ cat /etc/redhat-release

4	Red Hat Enterprise Linux Server release 5.7 (Tikanga)

5	[[e-mail] ~]$ java -version

6	java version "1.7.0_51"

7	Java(TM) SE Runtime Environment (build 1.7.0_51-b13)

8	OpenJDK (Alibaba) 64-Bit Server VM (build 24.45-b08-internal, mixed mode)

9	[[e-mail] ~]$ ulimit -a

10	core file size          (blocks, -c) 0

11	data seg size           (kbytes, -d) unlimited

12	scheduling priority             (-e) 0

13	file size               (blocks, -f) unlimited

14	pending signals                 (-i) 387068

15	max locked memory       (kbytes, -l) 64

16	max memory size         (kbytes, -m) unlimited

17	open files                      (-n) 131072

18	pipe size            (512 bytes, -p) 8

19	POSIX message queues     (bytes, -q) 819200

20	real-time priority              (-r) 0

21	stack size              (kbytes, -s) 10240

22	cpu time               (seconds, -t) unlimited

23	max user processes              (-u) unlimited

24	virtual memory          (kbytes, -v) unlimited

25	file locks                      (-x) unlimited

26	[[e-mail] ~/dev/baoniu]$ free -g

27	total       used       free     shared    buffers     cached

28	Mem:            47         31         15          0          3         25

29	-/+ buffers/cache:          3         44

30	Swap:            0          0          0

測試程序見本文最后面。測試結果：突破了網上所說的32000個線程數，成功創建了 10萬個線程。
（由於/proc/sys/kernel/pid_max默認為32768，所以網上很多測試程序測試JVM只能創建32000個線程。）

1	[[e-mail] ~/dev/baoniu]$ java -Xss128k MaxThreadsMain

2	The stack size specified is too small, Specify at least 228k

3	Error: Could not create the Java Virtual Machine.

4	Error: A fatal exception has occurred. Program will exit.

5	[[e-mail] ~/dev/baoniu]$ java -Xss228k MaxThreadsMain

6	4,000 threads: Time to create 4,000 threads was 0.846 seconds

7	8,000 threads: Time to create 4,000 threads was 2.425 seconds

8	12,000 threads: Time to create 4,000 threads was 4.813 seconds

9	16,000 threads: Time to create 4,000 threads was 7.229 seconds

10	20,000 threads: Time to create 4,000 threads was 10.443 seconds

11	24,000 threads: Time to create 4,000 threads was 14.480 seconds

12	28,000 threads: Time to create 4,000 threads was 19.709 seconds

13	32,000 threads: Time to create 4,000 threads was 24.742 seconds

14	36,000 threads: Time to create 4,000 threads was 31.181 seconds

15	40,000 threads: Time to create 4,000 threads was 36.629 seconds

16	44,000 threads: Time to create 4,000 threads was 42.796 seconds

17	48,000 threads: Time to create 4,000 threads was 48.659 seconds

18	52,000 threads: Time to create 4,000 threads was 55.030 seconds

19	56,000 threads: Time to create 4,000 threads was 60.130 seconds

20	60,000 threads: Time to create 4,000 threads was 67.419 seconds

21	64,000 threads: Time to create 4,000 threads was 73.507 seconds

22	68,000 threads: Time to create 4,000 threads was 79.416 seconds

23	72,000 threads: Time to create 4,000 threads was 85.261 seconds

24	76,000 threads: Time to create 4,000 threads was 92.201 seconds

25	80,000 threads: Time to create 4,000 threads was 98.087 seconds

26	84,000 threads: Time to create 4,000 threads was 108.263 seconds

27	88,000 threads: Time to create 4,000 threads was 114.840 seconds

28	92,000 threads: Time to create 4,000 threads was 121.841 seconds

29	96,000 threads: Time to create 4,000 threads was 127.714 seconds

30	After creating 99,410 threads, java.lang.OutOfMemoryError: unable to create new native thread

31	at java.lang.Thread.start0(Native Method)

32	at java.lang.Thread.start(Thread.java:713)

33	at MaxThreadsMain.addThread(MaxThreadsMain.java:43)

34	at MaxThreadsMain.main(MaxThreadsMain.java:13)

創建9W多個線程后，進程占用內存：VIRT=40.5g RES=4.7g，用free -g查看系統還有9G的空閑(free)內存。

---

JVM最多能啟動的線程數參照公式：

 

1	(MaxProcessMemory - JVMMemory – ReservedOsMemory) / (ThreadStackSize) = Number of threads

• MaxProcessMemory : 進程的最大尋址空間
• JVMMemory : JVM內存
• ReservedOsMemory : 保留的操作系統內存，如Native heap，JNI之類，一般100多M
• ThreadStackSize : 線程棧的大小，jvm啟動時由Xss指定

MaxProcessMemory：如32位的linux默認每個進程最多申請3G的地址空間，64位的操作系統可以支持到46位（64TB）的物理地址空間和47位（128T）的進程虛擬地址空間（linux 64位CPU內存限制）。

JVM內存：由Heap區和Perm區組成。通過-Xms和-Xmx可以指定heap區大小，通過-XX:PermSize和-XX:MaxPermSize指定perm區的大小(默認從32MB 到64MB，和JVM版本有關)。

線程棧ThreadStackSize：

Java程序中，每個線程都有自己的Stack Space。這個Stack Space的空間是獨立分配的，與-Xmx和-Xms指定的堆大小無關。Stack Space用來做方法的遞歸調用時壓入Stack Frame。所以當遞歸調用太深的時候，就有可能耗盡Stack Space，爆出StackOverflow的錯誤。對於32位JVM，缺省值為256KB，對於64位JVM，缺省值為512KB。最大值根據平台和特定機器配置的不同而不同。如果超過最大值，那么將報告java/lang/OutOfMemoryError消息。

可見，減少Xss指定的線程棧大小能夠啟動更多的線程，但是線程總數也受到系統空閑內存和操作系統的限制。

總結下影響Java線程數量的因素：

• Java虛擬機本身：-Xms，-Xmx，-Xss；
• 系統限制：
  /proc/sys/kernel/pid_max，
  /proc/sys/kernel/thread-max，
  max_user_process（ulimit -u），
  /proc/sys/vm/max_map_count。

ps: 最后發現是這台機器上有個應用代碼問題創建了過多的線程，達到系統限制，而影響了YARN和其他應用。一般來說，單機線程數過多可以考慮使用線程池或者更多的服務器。

---

附測試程序：

1	import java.util.ArrayList;

2	import java.util.List;

3

4	public class MaxThreadsMain {

5

6	public static final int BATCH_SIZE = 4000;

7

8	public static void main(String... args) throws InterruptedException {

9	List<Thread> threads = new ArrayList<Thread>();

10

try {

11	for (int i = 0; i <= 100 * 1000; i += BATCH_SIZE) {

12	long start = System.currentTimeMillis();

13	addThread(threads, BATCH_SIZE);

14	long end = System.currentTimeMillis();

15	Thread.sleep(1000);

16	long delay = end - start;

17	System.out.printf("%,d threads: Time to create %,d threads was %.3f seconds %n", threads.size(), BATCH_SIZE, delay / 1e3);

18

}

19	} catch (Throwable e) {

20	System.err.printf("After creating %,d threads, ", threads.size());

21	e.printStackTrace();

22

}

23

24

}

25

26	private static void addThread(List<Thread> threads, int num) {

27	for (int i = 0; i < num; i++) {

28	Thread t = new Thread(new Runnable() {

29

@Override

30	public void run() {

31

try {

32	while (!Thread.interrupted()) {

33	Thread.sleep(1000);

34

}

35	} catch (InterruptedException ignored) {

36

//

37

}

38

}

39

});

40	t.setDaemon(true);

41	t.setPriority(Thread.MIN_PRIORITY);

42	threads.add(t);

43	t.start();

44

}

45

}

46

}

 

附：

 

MySQL Performance: Hitting Error "Can't Create A New Thread (Errno 11)" On A High Number Of Connections:
Http://Dimitrik.Free.Fr/Blog/Archives/2010/11/Mysql-Performance-Hitting-Error-Cant-Create-A-New-Thread-Errno-11-On-A-High-Number-Of-Connections.Html


  $ Ulimit -U
  1024
It Explains 1000 Sessions Limitation ;-)


Adding Few Lines More To My "/Etc/Security/Limits.Conf" File:


  # Cat /Etc/Security/Limits.Conf
  Mysql     Soft    Nofile  10240
  Mysql     Hard    Nofile  40960
  Mysql     Soft    Nproc   10240
  Mysql     Hard    Nproc   40960
Fixed My Issue! :-))