Linux吃掉我的內存


在Windows下資源管理器查看內存使用的情況,如果使用率達到80%以上,再運行大程序就能感覺到系統不流暢了,因為在內存緊缺的情況下使用交換分區,頻繁地從磁盤上換入換出頁會極大地影響系統的性能。而當我們使用free命令查看Linux系統內存使用情況時,會發現內存使用一直處於較高的水平,即使此時系統並沒有運行多少軟件。這正是Windows和Linux在內存管理上的區別,乍一看,Linux系統吃掉我們的內存(Linux ate my ram),但其實這也正是其內存管理的特點。


free命令介紹

下面為使用free命令查看我們實驗室文件服務器內存得到的結果,-m選項表示使用MB為單位:

[root@archlab-server2 ~]# free -m
      total   used   free   shared   buffers   cached
Mem:    3920    1938   1982    0      497     1235
-/+ buffers/cache:  205   3714
Swap:    4095    0    4095

輸出的第二行表示系統內存的使用情況:

Mem: total(總量)= 3920MB,

      used(已使用)= 1938MB,

      free(空閑)= 1982MB,

      shared(共享內存)= 0MB,

      buffers = 497MB,

      cached = 1235MB

注:前面四項都比較好理解,buffer 和 cache找不到合適的詞來翻譯,它們的區別在於:

  • A buffer is something that has yet to be "written" to disk. 
  • A cache is something that has been "read" from the disk and stored for later use.

即buffer用於存放要輸出到磁盤的數據,而cache是從磁盤讀出存放到內存中待今后使用的數據。它們的引入均是為了提供IO的性能。

輸出的第三行表示在第二行的基礎上-/+ buffers/cache得到的:

- buffers/cache used = Mem used – buffers – cached = 1938MB – 497MB – 1235MB = 205MB

+ buffers/cache free = Mem free + buffers + cached = 1982MB + 497MB + 1235MB = 3714MB

輸出的第三行表示交換分區使用的情況:

Swap:total(總量)= 4095MB

      used(使用)= 0MB

      free(空閑)= 4095MB

由於系統當前內存還比較充足,並未使用到交換分區。

上面輸出的結果比較難理解的可能是第三行,為什么要向用戶展示這行數據呢?內存使用量減去系統buffer/cached的內存表示何意呢?系統空閑內存加上buffer/cached的內存又表示何意?

 

內存的分類

我們把內存分為三類,從用戶和操作系統的角度對其使用情況有不同的稱呼:

Memory that is

You'd call it

Linux calls it

taken by applications

Used

Used

available for applications, and used for something

Free

Used

not used for anything

Free

Free

上表中something代表的正是free命令中"buffers/cached"的內存,由於這塊內存從操作系統的角度確實被使用,但如果用戶要使用,這塊內存是可以很快被回收被用戶程序使用,因此從用戶角度這塊內存應划為空閑狀態。

再次回到free命令輸出的結果,第三行輸出的結果應該就能理解了,這行的數字表示從用戶角度看系統內存的使用情況。因此,如果你用top或者free命令查看系統的內存還剩多少,其實你應該將空閑內存加上buffer/cached的內存,那才是實際系統空閑的內存。

 

buffers/cached好處

Linux 內存管理做了很多精心的設計,除了對dentry進行緩存(用於VFS,加速文件路徑名到inode的轉換),還采取了兩種主要Cache方式:Buffer Cache和Page Cache,目的就是為了提升磁盤IO的性能。從低速的塊設備上讀取數據會暫時保存在內存中,即使數據在當時已經不再需要了,但在應用程序下一次訪問該數據時,它可以從內存中直接讀取,從而繞開低速的塊設備,從而提高系統的整體性能。而Linux會充分利用這些空閑的內存,設計思想是內存空閑還不如拿來多緩存一些數據,等下次程序再次訪問這些數據速度就快了,而如果程序要使用內存而系統中內存又不足時,這時不是使用交換分區,而是快速回收部分緩存,將它們留給用戶程序使用。

因此,可以看出,buffers/cached真是百益而無一害,真正的壞處可能讓用戶產生一種錯覺——Linux耗內存!其實不然,Linux並沒有吃掉你的內存,只要還未使用到交換分區,你的內存所剩無幾時,你應該感到慶幸,因為Linux 緩存了大量的數據,也許下一次你就從中受益!

 

實驗證明

下面通過實驗來驗證上面的結論:

我們先后讀入一個大文件,比較兩次讀入的實踐:

  1. 首先生成一個1G的大文件
    [root@archlab-server2 ~]# dd if=/dev/zero of=bigfile bs=1M count=1000
    1000+0 records in
    1000+0 records out
    1048576000 bytes (1.0 GB) copied, 15.8598 s, 66.1 MB/s
    [root@archlab-server2 ~]# du -h bigfile
    1001M bigfile
  2. 清空緩存
    [root@archlab-server2 ~]# echo 3 | tee /proc/sys/vm/drop_caches
    3
    [root@archlab-server2 ~]# free -m
             total     used     free     shared    buffers    cached
    Mem:     3920       154     3766      0         0          33
    -/+ buffers/cache:   120     3800
    Swap:      4095      0       4095
  3. 讀入這個文件,測試消耗的時間
    [root@archlab-server2 ~]# time cat bigfile > /dev/null
    real 0m18.449s
    user 0m0.013s
    sys 0m0.617s
    [root@archlab-server2 ~]# free -m
              total      used     free     shared    buffers     cached
    Mem:      3920       1159     2761     0         3           1035
    -/+ buffers/cache:   120      3800
    Swap:      4095      0        4095
  4. 再次讀入該文件,測試消耗的時間
    [root@archlab-server2 ~]# time cat bigfile > /dev/null
    real 0m0.310s
    user 0m0.005s
    sys 0m0.304s

從上面看出,第一次讀這個1G的文件大約耗時18s,而第二次再次讀的時候,只耗時0.3s,足足提升60倍!

 

參考資料:

https://groups.google.com/forum/#!topic/shlug/Dvc-ciKGt7s/discussion  實驗室師兄以前提出"cp命令占用雙倍內存問題",在SLUG上的討論,正是這個疑惑一直在我心中

http://www.linuxatemyram.com/  前兩天在Hacker News看到"Linux ate my ram"這個網頁,寫的通俗易懂,也順藤摸瓜解決心中很多疑惑

http://www.linuxatemyram.com/play.html  作者給出了其他的實驗來分別驗證磁盤cache對程序分配、交換分區、程序加載時間等的影響

http://www.cnblogs.com/coldplayerest/archive/2010/02/20/1669949.html 一篇對free命令介紹的博客

 

    


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM