Tomcat性能調優及JVM內存工作原理

Java性能優化方向：代碼運算性能、內存回收、應用配置。

注：影響Java程序主要原因是垃圾回收，下面會重點介紹這方面

代碼層優化：避免過多循環嵌套、調用和復雜邏輯。
Tomcat調優主要內容如下：
1、增加最大連接數
2、調整工作模式
3、啟用gzip壓縮
4、調整JVM內存大小
5、作為Web時，動靜分離
6、合理選擇垃圾回收算法
7、盡量使用較新JDK版本

生產環境Tomcat配置：

1. Connectorport="8080"protocol="org.apache.coyote.http11.Http11NioProtocol"
2. maxThreads="1000"
3. minSpareThreads="100"
4. maxSpareThreads="200"
5. acceptCount="900"
6. disableUploadTimeout="true"
7. connectionTimeout="20000"
8. URIEncoding="UTF-8"
9. enableLookups="false"
10. redirectPort="8443"
11. compression="on"
12. compressionMinSize="1024"
13. compressableMimeType="text/html,text/xml,text/css,text/javascript"

參數說明：
org.apache.coyote.http11.Http11NioProtocol：調整工作模式為Nio
maxThreads：最大線程數，默認150。增大值避免隊列請求過多，導致響應緩慢。
minSpareThreads：最小空閑線程數。
maxSpareThreads：最大空閑線程數，如果超過這個值，會關閉無用的線程。
acceptCount：當處理請求超過此值時，將后來請求放到隊列中等待。
disableUploadTimeout：禁用上傳超時時間
connectionTimeout：連接超時，單位毫秒，0代表不限制
URIEncoding：URI地址編碼使用UTF-8
enableLookups：關閉dns解析，提高響應時間
compression：啟用壓縮功能
compressionMinSize：最小壓縮大小，單位Byte
compressableMimeType：壓縮的文件類型

Tomcat有三種工作模式：Bio、Nio和Apr

下面簡單了解下他們工作原理：

Bio(BlockingI/O)：默認工作模式，阻塞式I/O操作，沒有任何優化技術處理，性能比較低。
Nio(New I/O orNon-Blocking)：非阻塞式I/O操作，有Bio有更好的並發處理性能。
Apr(ApachePortable Runtime，Apache可移植運行庫)：首選工作模式，主要為上層的應用程序提供一個可以跨越多操作系統平台使用的底層支持接口庫。
tomcat利用基於Apr庫tomcat-native來實現操作系統級別控制，提供一種優化技術和非阻塞式I/O操作，大大提高並發處理能力。但是需要安裝apr和tomcat-native庫。

工作模式原理涉及到了網絡I/O模型知識：
阻塞式I/O模型：應用進程調用recv函數系統調用時，如果等待要操作的數據沒有發送到內核緩沖區，應用進程將阻塞，不能接收其他請求。反之，內核recv端緩沖區有數據，內核會把數據復制到用戶空間解除阻塞，繼續處理下一個請求。（內核空間(緩沖區)—用戶空間(系統調用)）

非阻塞式I/O模型：應用進程設置成非阻塞模式，如果要操作的數據沒有發送到內核緩沖區，recv系統調用返回一個錯誤，應用進程利用輪詢方式不斷檢查此操作是否就緒，如果緩沖區中有數據則返回，I/O操作同時不會阻塞應用進程，期間會繼續處理新請求。

I/O復用模型：阻塞發生在select/poll的系統調用上，而不是阻塞在實際的I/O系統調用上。能同時處理多個操作，並檢查操作是否就緒，select/epoll函數發現有數據就緒后，就通過實際的I/O操作將數據復制到應用進程的緩沖區中。
異步I/O模型：應用進程通知內核開始一個異步I/O操作，並讓內核在整個操作（包括數據復制緩沖區）完成后通知應用進程，期間會繼續處理新請求。
I/O操作分為兩個階段：第一個階段等待數據可用，第二個階段將數據從內核復制到用戶空間。

前三種模型的區別：第一階段阻塞式I/O阻塞在I/O操作上，非阻塞式I/O輪詢，I/O復用阻塞在select/poll或epoll上。第二階段都是一樣的。而異步I/O的兩個階段都不會阻塞進程。
Java性能問題主要來自於JVM，JVM GC也比較復雜，再調優之前了解下相關基礎概念是必要的：

內存分代結構圖：

1）JVM內存划分分為年輕代（Young Generation）、老年代（Old Generation）、永久代（Permanent Generation）。
2）年輕代又分為Eden和Survivor區。Survivor區由FromSpace和ToSpace組成。Eden區占大容量，Survivor兩個區占小容量，默認比例大概是8:2。
3）堆內存（Heap）=年輕代+老年代。非堆內存=永久代。
4）堆內存用途：存放的是對象，垃圾收集器就是收集這些對象，然后根據GC算法回收。
5）非堆內存用途：JVM本身使用，存放一些類、方法、常量、屬性等。
6）年輕代：新生成的對象首先放到年輕代的Eden區中，當Eden滿時，經過GC后，還存活的對象被復制到Survivor區的FromSpace中，如果Survivor區滿時，會再被復制到Survivor區的ToSpace區。如果還有存活對象，會再被復制到老年代。
7）老年代：在年輕代中經過GC后還存活的對象會被復制到老年代中。當老年代空間不足時，JVM會對老年代進行完全的垃圾回收（Full GC）。如果GC后，還是無法存放從Survivor區復制過來的對象，就會出現OOM（Out of Memory）。
8）永久代：也稱為方法區，存放靜態類型數據，比如類、方法、屬性等。

垃圾回收（GC，Garbage Collection）算法：
1）標記-清除（Mark-Sweep）
GC分為兩個階段，標記和清除。首先標記所有可回收的對象，在標記完成后統一回收所有被標記的對象。同時會產生不連續的內存碎片。碎片過多會導致以后程序運行時需要分配較大對象時，無法找到足夠的連續內存，而不得已再次觸發GC。

2）復制（Copy）
將內存按容量划分為兩塊，每次只使用其中一塊。當這一塊內存用完了，就將存活的對象復制到另一塊上，然后再把已使用的內存空間一次清理掉。這樣使得每次都是對半個內存區回收，也不用考慮內存碎片問題，簡單高效。缺點需要兩倍的內存空間。

3）標記-整理（Mark-Compact）
也分為兩個階段，首先標記可回收的對象，再將存活的對象都向一端移動，然后清理掉邊界以外的內存。此方法避免標記-清除算法的碎片問題，同時也避免了復制算法的空間問題。
一般年輕代中執行GC后，會有少量的對象存活，就會選用復制算法，只要付出少量的存活對象復制成本就可以完成收集。而老年代中因為對象存活率高，沒有額外過多內存空間分配，就需要使用標記-清理或者標記-整理算法來進行回收。

垃圾收集器：
1）串行收集器（Serial）
比較老的收集器，單線程。收集時，必須暫停應用的工作線程，直到收集結束。

2）並行收集器（Parallel）
多條垃圾收集線程並行工作，在多核CPU下效率更高，應用線程仍然處於等待狀態。

3）CMS收集器（Concurrent Mark Sweep）
CMS收集器是縮短暫停應用時間為目標而設計的，是基於標記-清除算法實現，整個過程分為4個步驟，包括：
·        初始標記（Initial Mark）
·        並發標記（Concurrent Mark）
·        重新標記（Remark）
·        並發清除（Concurrent Sweep）
其中，初始標記、重新標記這兩個步驟仍然需要暫停應用線程。初始標記只是標記一下GC Roots能直接關聯到的對象，速度很快，並發標記階段是標記可回收對象，而重新標記階段則是為了修正並發標記期間因用戶程序繼續運作導致標記產生變動的那一部分對象的標記記錄，這個階段暫停時間比初始標記階段稍長一點，但遠比並發標記時間段。
由於整個過程中消耗最長的並發標記和並發清除過程收集器線程都可以與用戶線程一起工作，所以，CMS收集器內存回收與用戶一起並發執行的，大大減少了暫停時間。

4）G1收集器（Garbage First）
G1收集器將堆內存划分多個大小相等的獨立區域（Region），並且能預測暫停時間，能預測原因它能避免對整個堆進行全區收集。G1跟蹤各個Region里的垃圾堆積價值大小（所獲得空間大小以及回收所需時間），在后台維護一個優先列表，每次根據允許的收集時間，優先回收價值最大的Region，從而保證了再有限時間內獲得更高的收集效率。
G1收集器工作工程分為4個步驟，包括：
·        初始標記（Initial Mark）
·        並發標記（Concurrent Mark）
·        最終標記（Final Mark）
·        篩選回收（Live Data Counting and Evacuation）
初始標記與CMS一樣，標記一下GC Roots能直接關聯到的對象。並發標記從GC Root開始標記存活對象，這個階段耗時比較長，但也可以與應用線程並發執行。而最終標記也是為了修正在並發標記期間因用戶程序繼續運作而導致標記產生變化的那一部分標記記錄。最后在篩選回收階段對各個Region回收價值和成本進行排序，根據用戶所期望的GC暫停時間來執行回收。

了解了JVM基礎知識，下面配置下相關Java參數，將下面一段放到catalina.sh里面：

1. JAVA_OPTS=-server-Xms1024m -Xmx1536m -XX:PermSize=256m -XX:MaxPermSize=512m-XX:+UseConcMarkSweepGC -XX:+UseParallelGCThreads=8XX:CMSInitiatingOccupancyFraction=80 -XX:+UseCMSCompactAtFullCollection-XX:CMSFullGCsBeforeCompaction=0 -XX:-PrintGC -XX:-PrintGCDetails-XX:-PrintGCTimeStamps -Xloggc:../logs/gc.log

注意：不是JVM內存設置越大越好，具體還是根據項目對象實際占用內存大小而定，可以通過Java自帶的分析工具來查看。如果設置過大，會增加回收時間，從而增加暫停應用時間。

jdk8中tomcat修改配置PermSize為MetaspaceSize

2016年05月30日 18:38:33

閱讀數：14873

JDK8中用metaspace代替permsize，因此在許多我們設置permsize大小的地方同樣需要修改配置為metaspace

將-XX:PermSize=200m;-XX:MaxPermSize=256m;

修改為：-XX:MetaspaceSize=200m;-XX:MaxMetaspaceSize=256m;   

通用配置

export JAVA_OPTS="-server -Xms512m -Xmx512m -Xmn256m -XX:MaxMetaspaceSize=512m -Djava.awt.headless=true -Djava.net.preferIPv4Stack=true -Dfile.encoding=UTF-8 -Xss256k -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:LargePageSizeInBytes=128m -XX:+Us
eFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70"

參數	描述
-Xms	堆內存初始大小，單位m、g
-Xmx	堆內存最大允許大小，一般不要大於物理內存的80%
-XX:PermSize	非堆內存初始大小，一般應用設置初始化200m，最大1024m就夠了
-XX:MaxPermSize	非堆內存最大允許大小
-XX:+UseParallelGCThreads=8	並行收集器線程數，同時有多少個線程進行垃圾回收，一般與CPU數量相等
-XX:+UseParallelOldGC	指定老年代為並行收集
-XX:+UseConcMarkSweepGC	CMS收集器（並發收集器）
-XX:+UseCMSCompactAtFullCollection	開啟內存空間壓縮和整理，防止過多內存碎片
-XX:CMSFullGCsBeforeCompaction=0	表示多少次Full GC后開始壓縮和整理，0表示每次Full GC后立即執行壓縮和整理
-XX:CMSInitiatingOccupancyFraction=80%	表示老年代內存空間使用80%時開始執行CMS收集，防止過多的Full GC

gzip壓縮作用：節省服務器流量和提高網站訪問速度。客戶端請求服務器資源后，服務器將資源文件壓縮，再返回給客戶端，由客戶端的瀏覽器負責解壓縮並瀏覽。

作為Web時，動靜分離：
使用Apache或Nginx處理靜態資源文件，Tomcat處理動態資源文件。因為Tomcat處理靜態資源能力遠不如Apache、Nginx，所以可以有效提高處理速度。

OOM（Out of Memory）異常常見有以下幾個原因：
1）老年代內存不足：java.lang.OutOfMemoryError:Javaheapspace
2）永久代內存不足：java.lang.OutOfMemoryError:PermGenspace
3）代碼bug，占用內存無法及時回收。

前兩種情況通過加大內存容量，可以得到解決。如果是代碼bug，就要通過jstack、jmap、jstat自帶的工具分析問題，定位到相關代碼，讓開發解決。