JVM優化之調整大內存分頁(LargePage)


轉自:http://cjjwzs.iteye.com/blog/1059381

 

本文將從內存分頁的原理,如何調整分頁大小兩節內容,向你闡述LargePage對JVM的性能有何提升作用,並在文末點明了大內分頁的副作用。OK,讓我們開始吧!

內存分頁大小對性能的提升原理

首先,我們需要回顧一小部分計算機組成原理,這對理解大內存分頁至於JVM性能的提升是有好處的。

什么是內存分頁? 
我們知道,CPU是通過尋址來訪問內存的。32位CPU的尋址寬度是 0~0xFFFFFFFF ,計算后得到的大小是4G,也就是說可支持的物理內存最大是4G。

但在實踐過程中,碰到了這樣的問題,程序需要使用4G內存,而可用物理內存小於4G,導致程序不得不降低內存占用。 
為了解決此類問題,現代CPU引入了 MMU(Memory Management Unit 內存管理單元)。

MMU 的核心思想是利用虛擬地址替代物理地址,即CPU尋址時使用虛址,由 MMU 負責將虛址映射為物理地址。
MMU的引入,解決了對物理內存的限制,對程序來說,就像自己在使用4G內存一樣。

內存分頁(Paging)是在使用MMU的基礎上,提出的一種內存管理機制。它將虛擬地址和物理地址按固定大小(4K)分割成頁(page)和頁幀(page frame),並保證頁與頁幀的大小相同。

這種機制,從數據結構上,保證了訪問內存的高效,並使OS能支持非連續性的內存分配。 
在程序內存不夠用時,還可以將不常用的物理內存頁轉移到其他存儲設備上,比如磁盤,這就是大家耳熟能詳的虛擬內存。

在上文中提到,虛擬地址與物理地址需要通過映射,才能使CPU正常工作。 
而映射就需要存儲映射表。在現代CPU架構中,映射關系通常被存儲在物理內存上一個被稱之為頁表(page table)的地方。page table在現代操作系統中由全局目錄(PGD)-中間目錄(PMD)-頁表項(PTE)三層樹構成,有時候不同書上圖不一樣但意思一樣,只是畫多畫少。

進一步優化,引入TLB(Translation lookaside buffer,頁表寄存器緩沖) 
由上一節可知,頁表是被存儲在內存中的。我們知道CPU通過總線訪問內存,肯定慢於直接訪問寄存器的。 
為了進一步優化性能,現代CPU架構引入了TLB,用來緩存一部分經常訪問的頁表內容。

為什么要支持大內存分頁? 
TLB是有限的,這點毫無疑問。當超出TLB的存儲極限時,就會發生 TLB miss,之后,OS就會命令CPU去訪問內存上的頁表。如果頻繁的出現TLB miss,程序的性能會下降地很快。

為了讓TLB可以存儲更多的頁地址映射關系,我們的做法是調大內存分頁大小。

如果一個頁4M,對比一個頁4K,前者可以讓TLB多存儲1000個頁地址映射關系,性能的提升是比較可觀的。

調整OS和JVM內存分頁

在Linux和windows下要啟用大內存頁,有一些限制和設置步驟。

Linux: 
限制:需要2.6內核以上或2.4內核已打大內存頁補丁。 
確認是否支持,請在終端敲如下命令:

# cat /proc/meminfo | grep Huge 
HugePages_Total: 0 
HugePages_Free: 0 
Hugepagesize: 2048 kB

如果有HugePage字樣的輸出內容,說明你的OS是支持大內存分頁的。Hugepagesize就是默認的大內存頁size。 
接下來,為了讓JVM可以調整大內存頁size,需要設置下OS 共享內存段最大值 和 大內存頁數量。

共享內存段最大值 
建議這個值大於Java Heap size,這個例子里設置了4G內存。

# echo 4294967295 > /proc/sys/kernel/shmmax

注意在32位操作系統上這個值不能超過4GB

大內存頁數量

# echo 154 > /proc/sys/vm/nr_hugepages

這個值一般是 Java進程占用最大內存/單個頁的大小 ,比如java設置 1.5G,單個頁 10M,那么數量為  1536/10 = 154。 
注意:因為proc是內存FS,為了不讓你的設置在重啟后被沖掉,建議寫個腳本放到 init 階段(rc.local)。

更簡便的方法是

echo "vm.nr_hugepages=154" >> /etc/sysctl.conf

通過下述命令來驗證設置是否生效

grep HugePages_Total /proc/meminfo

結果應該是你之前設置的數值154

單個頁大小調整

JVM啟用時加參數 -XX:LargePageSizeInBytes=10m

——————————————————————

其實除了JVM可以使用大頁面提高性能,還有一種應用更符合內存密集型的場景,那就是數據庫。數據庫的調優中很早就有了這部分的建議。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM