LInux 標准大頁和透明大頁

Huge pages ( 標准大頁 ) 和  Transparent Huge pages( 透明大頁 )

在 Linux 中大頁分為兩種： Huge pages ( 標准大頁 ) 和  Transparent Huge pages( 透明大頁 ) 。

內存是以塊即頁的方式進行管理的，當前大部分系統默認的頁大小為 4096 bytes 即 4K 。 1MB 內存等於 256 頁； 1GB 內存等於 256000 頁。

CPU 擁有內置的內存管理單元，包含這些頁面的列表，每個頁面通過頁表條目引用。當內存越來越大的時候， CPU 需要管理這些內存頁的成本也就越高，這樣會對操作系統的性能產生影響。

Huge Pages

Huge pages  是從 Linux Kernel 2.6 后被引入的，目的是通過使用大頁內存來取代傳統的 4kb 內存頁面， 以適應越來越大的系統內存，讓操作系統可以支持現代硬件架構的大頁面容量功能。

Huge pages  有兩種格式大小： 2MB  和  1GB ， 2MB 頁塊大小適合用於 GB 大小的內存， 1GB 頁塊大小適合用於 TB 級別的內存； 2MB 是默認的頁大小。

Transparent Huge Pages

Transparent Huge Pages  縮寫  THP ，這個是 RHEL 6 開始引入的一個功能，在 Linux6 上透明大頁是默認啟用的。

由於 Huge pages 很難手動管理，而且通常需要對代碼進行重大的更改才能有效的使用，因此 RHEL 6 開始引入了 Transparent Huge Pages （ THP ）， THP 是一個抽象層，能夠自動創建、管理和使用傳統大頁。

THP 為系統管理員和開發人員減少了很多使用傳統大頁的復雜性 ,  因為 THP 的目標是改進性能 ,  因此其它開發人員  ( 來自社區和紅帽 )  已在各種系統、配置、應用程序和負載中對  THP  進行了測試和優化。這樣可讓  THP  的默認設置改進大多數系統配置性能。但是 ,  不建議對數據庫工作負載使用  THP 。

 

這兩者最大的區別在於 :  標准大頁管理是預分配的方式，而透明大頁管理則是動態分配的方式。

 

標准大頁的頁面大小

 

[root@localhost ~]# grep Hugepagesize /proc/meminfo
Hugepagesize: 2048 kB

 

注： THP  目前只能映射異步內存區域，比如堆和棧空間

使用Huge pages優點

Oracle  官方是推薦我們使用 Huge pages 的，它擁有以下的好處：

 

• Larger Page Size and Less # ofPages: Default page size is 4K whereas the HugeTLB size is 2048K. That meansthe system would need to handle 512 times less pages.

 

• Reduced Page Table Walking:Since a HugePage covers greater contiguous virtual address range than a regularsized page, a probability of getting a TLB hit per TLB entry with HugePages arehigher than with regular pages. This reduces the number of times page tablesare walked to obtain physical address from a virtual address.

 

• Less Overhead for MemoryOperations: On virtual memory systems (any modern OS) each memory operation isactually two abstract memory operations. With HugePages, since there are lessnumber of pages to work on, the possible bottleneck on page table access isclearly avoided.

 

• Less Memory Usage: From theOracle Database perspective, with HugePages, the Linux kernel will use lessmemory to create pagetables to maintain virtual to physical mappings for SGAaddress range, in comparison to regular size pages. This makes more memory tobe available for process-private computations or PGA usage.

 

• No Swapping: We must avoidswapping to happen on Linux OS at all Document 1295478.1. HugePages are notswappable (whereas regular pages are). Therefore there is no page replacementmechanism overhead. HugePages are universally regarded as pinned.

 

• No 'kswapd' Operations: kswapdwill get very busy if there is a very large area to be paged (i.e. 13 millionpage table entries for 50GB memory) and will use an incredible amount of CPUresource. When HugePages are used, kswapd is not involved in managing them. Seealso Document 361670.1

 使用  Huge pages缺點

當然使用  Huge pages  也會存在某些缺點:

首先開啟該功能需要進行額外設置，

第二， Huge pages  和 Oracle 11g新 特性 AMM （ Automatic Memory Management ）是相互沖突的，但是 ASMM （ Automatic Shared Memory Management ）仍然可以繼續使用。

Transparent Huge pages存在的問題

Oracle 官方雖然推薦我們使用  Huge pages ，但是卻建議我們關閉 Transparent Huge pages ，因為透明大頁存在一些問題：

 

1. 在 RAC 環境下   透明大頁（ TransparentHugePages  ）會導致異常節點重啟，和性能問題；

 

2. 在單機環境中，透明大頁（ TransparentHugePages  ） 也會導致一些異常的性能問題；

 

注：Transparent Huge Pages在32位的RHEL 6中是不支持的。

 

如何關閉 Transparent Huge pages ？

環境：CentOS Linux release 7.8.2003 (Core)

[root@localhost ~]# grep Huge /proc/meminfo
AnonHugePages: 7956480 kB　　　　　　－－－－－＞＞返回值不為０，表示開啟了THP
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB

檢查當前的transparent_hugepage狀態（以下為開啟狀態）

 

# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
# cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never

 

透明大頁關閉方法有兩種，一種是通過命令關閉，一種通過修改grub開機引導文件關閉：

方法一

1）手動臨時關閉

# echo never > /sys/kernel/mm/transparent_hugepage/enabled # echo never > /sys/kernel/mm/transparent_hugepage/defrag

 

參數說明

never 關閉，不使用透明內存
alway 盡量使用透明內存，掃描內存，有512個 4k頁面可以整合，就整合成一個2M的頁面
madvise 避免改變內存占用

 

2）開機自動關閉

 

# vim /etc/rc.d/rc.local

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

授予執行權限

# chmod +x /etc/rc.d/rc.local

方法二

備份配置文件

＃cp /etc/default/grub /etc/default/grub.`date +%F`.bak　　　　------->>>>備份grub配置文件
＃cp /boot/grub2/grub.cfg /boot/grub2/grub.cfg.`date +%F`.bak　　　　------->>>>備份grub文件

 

編輯/etc/default/grub 文件，在 GRUB_CMDLINE_LINUX 那一行后面追加 transparent_hugepage=never例如：

或者編輯/etc/sysconfig/grub，其實/etc/sysconfig/grub是/etc/default/grub的軟鏈接。但我遇到過不是軟鏈接的關系情況，這樣編輯/etc/sysconfig/grub是沒有用戶的；執行grub2-mkconfig不會把關閉THP的選項寫入到gurb.cfg。

 

# cat /etc/sysconfig/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rd.lvm.lv=centos/usr rhgb quiet transparent_hugepage=never"
GRUB_DISABLE_RECOVERY="true"

 

再使用 grub2-mkconfig 生成grub.cfg配置文件。

# grub2-mkconfig -o /boot/grub2/grub.cfg
# init 6 -------->>>>重啟生效

 

重啟后效果

# cat /proc/cmdline
BOOT_IMAGE=/vmlinuz-3.10.0-1127.el7.x86_64 root=/dev/mapper/rhel-root ro crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rd.lvm.lv=rhel/usr rhgb quiet transparent_hugepage=never

# cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]　　　　---->>>[never]表示成功禁用THP
#cat /sys/kernel/mm/transparent_hugepage/defrag 　　------>>> 這個應該是內存碎片整理
[always] madvise never

# grep Hug /proc/meminfo        
AnonHugePages:         0 kB　　　　　　---------->>>返回值若是零，代表成功禁用THP
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

 

擴展內容

 

使用情況監控
可以查看/sys/kernel/mm/transparent_hugepage/khugepaged下信息
pages_to_scan (默認 4096 = 16MB)
一個掃描周期被掃描的內存頁數
scan_sleep_millisecs (默認 10000 = 10sec)
多長時間掃描一次
alloc_sleep_millisecs (默認 60000 = 60sec)
多長時間整理一次碎片