Linux 內存 占用較高問題排查
niuhao307523005 2019-04-24 14:31:55 11087 收藏 11
展開
一 查看內存情況
#按 k 查看
free
#按兆M查看
free -m
total:總計物理內存的大小。
used:已使用多大。
free:可用有多少。
Shared:多個進程共享的內存總額。
Buffers/cached:磁盤緩存的大小。
#所以空閑內存=free+buffers+cached=total-used
內存的使用情況
cat /proc/meminfo
查看進程的內存占用
pidstat -r -p 24427 1 5
內存占用高的前20
ps aux | head -1;ps aux |grep -v PID |sort -rn -k +4 | head -20
動態查看內存占用
slabtop
二 問題定位
cached 占用過高問題
buffer,cached的作用：
cached主要負責緩存文件使用, 日志文件過大造成cached區內存增大把內存占用完 .
Free中的buffer和cache：（它們都是占用內存）：
buffer : 作為buffer cache的內存，是塊設備(磁盤)的緩沖區，包括讀、寫磁盤
cache: 作為page cache的內存, 文件系統的cache，包括讀、寫文件
如果 cache 的值很大，說明cache住的文件數很多。
linux服務器會自動釋放內存，保障系統運行，但只會釋放夠用的內存，而不會去釋放更多的內存。
解決方法：
手動釋放cached方法有三種（系統默認值是0，釋放之后你需要再改回0值）：
釋放前最好sync一下，防止丟數據
sync 在啟動機器或關機之前一定要運行sync命令。記住在任何情況下，慎重地執行sync命令決不會有任何壞處,sync命令強制把磁盤緩沖的所有數據寫入磁盤
To free pagecache: #echo 1 > /proc/sys/vm/drop_caches
To free dentries and inodes: #echo 2 > /proc/sys/vm/drop_caches
To free pagecache, dentries and inodes: #echo 3 > /proc/sys/vm/drop_caches
#常用方法是
sync
echo 1 > /proc/sys/vm/drop_caches
#清除后要還原系統默認配置：
echo 0 > /proc/sys/vm/drop_caches
#查看設置
sysctl -a | grep drop_caches
補充： echo 字符串 > 文件 就是把字符串內容從定向到文件中
這時查看 free 可以看到 cached 降低了很多
三 linux vm內核參數優化設置
（1）vm.min_free_kbytes
sysctl -a | grep min_free_kbytes #centos6.4默認66M
67584 該文件表示強制Linux VM最低保留多少空閑內存（Kbytes）。
當可用內存低於這個參數時，系統開始回收cache內存，以釋放內存，直到可用內存大於這個值。
#改為1g
命令：sysctl -w vm.min_free_kbytes=1048576
（如果命令執行不成功，直接編輯文件進行替換即可）
#查看是否改動
sysctl -a | grep min_free_kbytes
（1）vm.overcommit_memory
執行grep -i commit /proc/meminfo
看到CommitLimit和Committed_As參數。
CommitLimit是一個內存分配上限,CommitLimit = 物理內存 * overcommit_ratio(默認50，即50%) + swap大小
Committed_As是已經分配的內存大小。
--------
vm.overcommit_memory文件指定了內核針對內存分配的策略，其值可以是0、1、2
0： (默認)表示內核將檢查是否有足夠的可用內存供應用進程使用；如果有足夠的可用內存，內存申請允許；否則，內存申請失敗，並把錯誤返回給應用進程。0 即是啟發式的overcommitting handle,會盡量減少swap的使用,root可以分配比一般用戶略多的內存
1： 表示內核允許分配所有的物理內存，而不管當前的內存狀態如何，允許超過CommitLimit，直至內存用完為止。在數據庫服務器上不建議設置為1，從而盡量避免使用swap.
2： 表示不允許超過CommitLimit值
（2）vm.overcommit_ratio
默認值為：50 （即50%）
這個參數值只有在vm.overcommit_memory=2的情況下，這個參數才會生效。
------------------------------------------------------------------------------
vm.vfs_cache_pressure
該項表示內核回收用於directory和inode cache內存的傾向：
缺省值100表示內核將根據pagecache和swapcache，把directory和inode cache保持在一個合理的百分比
降低該值低於100，將導致內核傾向於保留directory和inode cache
增加該值超過100，將導致內核傾向於回收directory和inode cache。
網上文章建議 執行命令：
sysctl -a | grep vfs_cache_pressure
sysctl -w vm.vfs_cache_pressure=200
其實一般情況下不需要調整，只有在極端場景下才建議進行調整，只有此時，才有必要進行調優，這也是調優的意義所在。
vm.dirty_background_ratio 默認為10
所有全局系統進程的臟頁數量達到系統總內存的多大比例后，就會觸發pdflush/flush/kdmflush等后台回寫進程運行。
將vm.dirty_background_ratio設置為5-10，將vm.dirty_ratio設置為它的兩倍左右，以確保能持續將臟數據刷新到磁盤，避免瞬間I/O寫，產生嚴重等待（和MySQL中的innodb_max_dirty_pages_pct類似）
vm.dirty_ratio 默認為20
單個進程的臟頁數量達到系統總內存的多大比例后，就會觸發pdflush/flush/kdmflush等后台回寫進程運行。
--------------------------------------------------
vm.panic_on_oom 默認為0開啟 為1時表示關閉此功能
等於0時，表示當內存耗盡時，內核會觸發OOM killer殺掉最耗內存的進程。
當OOM Killer被啟動時，通過觀察進程自動計算得出各當前進程的得分 /proc/<PID>/oom_score,分值越高越容易被kill掉。
而且計算分值時主要參照 /proc/<PID>/oom_adj , oom_adj 取值范圍從-17到15，當等於-17時表示在任何時候此進程都不會被 oom killer kill掉（適用於mysql）。
/proc/[pid]/oom_adj ，該pid進程被oom killer殺掉的權重，介於 [-17,15]之間，越高的權重，意味着更可能被oom killer選中，-17表示禁止被kill掉。
/proc/[pid]/oom_score，當前該pid進程的被kill的分數，越高的分數意味着越可能被kill，這個數值是根據oom_adj運算后的結果，是oom_killer的主要參考。
sysctl 下有2個可配置選項：
vm.panic_on_oom = 0 #內存不夠時內核是否直接panic
vm.oom_kill_allocating_task = 1 #oom-killer是否選擇當前正在申請內存的進程進行kill