物理內存和虛擬內存


物理內存和虛擬內存

概念

物理內存:物理內存(Physical memory)是相對於虛擬內存而言的。物理內存指通過物理內存條而獲得的內存空間。
虛擬內存:相對於物理內存,在linux下還有一個虛擬內存的概念,虛擬內存就是為了滿足物理內存的不足而提出的策略,它是利用磁盤空間虛擬出的一塊邏輯內存,用作虛擬內存的磁盤空間被稱為交換空間(Swap Space)

說明

  • 作為物理內存的擴展,linux會在物理內存不足時,使用交換分區的虛擬內存,更詳細的說,就是內核會將暫時不用的內存塊信息寫到交換空間,這樣以來,物理內存得到了釋放,這塊內存就可以用於其它目的,當需要用到原始的內容時,這些信息會被重新從交換空間讀入物理內存。
  • linux的內存管理采取的是分頁存取機制,為了保證物理內存能得到充分的利用,內核會在適當的時候將物理內存中不經常使用的數據塊自動交換到虛擬內存中,而將經常使用的信息保留到物理內存。
  • 系統把物理內存中的一部分空間釋放出來,以供當前運行的程序使用。那些被釋放的空間可能來自一些很長時間沒有什么操作的程序,這些被釋放的空間被臨時保存到Swap分區中,等到那些程序要運行時,再從Swap分區中恢復保存的數據到內存中。這個swap交換區是從硬盤中預先划分一定的空間,所以使用swap交換區就需要在硬盤和內存間讀寫,增加IO,影響系統性能。

補充

要深入了解linux內存運行機制,需要知道下面提到的幾個方面:
首先,Linux系統會不時的進行頁面交換操作,以保持盡可能多的空閑物理內存,即使並沒有什么事情需要內存,Linux也會交換出暫時不用的內存頁面。這可以避免等待交換所需的時間。
其次,linux進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬內存,linux內核根據”最近最經常使用“算法,僅僅將一些不經常使用的頁面文件交換到虛擬內存,有時我們會看到這么一個現象:linux物理內存還有很多,但是交換空間也使用了很多。其實,這並不奇怪,例如,一個占用很大內存的進程運行時,需要耗費很多內存資源,此時就會有一些不常用頁面文件被交換到虛擬內存中,但后來這個占用很多內存資源的進程結束並釋放了很多內存時,剛才被交換出去的頁面文件並不會自動的交換進物理內存,除非有這個必要,那么此刻系統物理內存就會空閑很多,同時交換空間也在被使用,就出現了剛才所說的現象了。關於這點,不用擔心什么,只要知道是怎么一回事就可以了。
最后,交換空間的頁面在使用時會首先被交換到物理內存,如果此時沒有足夠的物理內存來容納這些頁面,它們又會被馬上交換出去,如此以來,虛擬內存中可能沒有足夠空間來存儲這些交換頁面,最終會導致linux出現假死機、服務異常等問題,linux雖然可以在一段時間內自行恢復,但是恢復后的系統已經基本不可用了。
因此,合理規划和設計linux內存的使用,是非常重要的。

交換空間swap的使用

交換空間swap的使用
雖然現在的內存已經變得非常廉價,但是swap仍然有很大的使用價值,合理的規划和使用swap分區,對系統穩定運行至關重要。Linux下可以使用文件系統中的一個常規文件或者一個獨立分區作為交換空間使用。同時linux允許使用多個交換分區或者交換文件。

1.創建swap交換空間
創建交換空間所需的交換文件是一個普通的文件,但是,創建交換文件與創建普通文件不同,必須通過dd命令來完成,同時這個文件必須位於本地硬盤上,不能在網絡文件系統(NFS)上創建swap交換文件。例如:
[root@localhost ~]# dd if=/dev/zero of=/data/swapfile bs=1024 count=65536
65536+0 records in
65536+0 records out
這樣就創建一個有連續空間的交換文件,大小為60M左右,關於dd命令做簡單的講述:
if=輸入文件,或者設備名稱。
of=輸出文件或者設備名稱。
ibs=bytes 表示一次讀入bytes 個字節(即一個塊大小為 bytes 個字節)。
obs=bytes 表示一次寫bytes 個字節(即一個塊大小為 bytes 個字節)。
bs=bytes,同時設置讀寫塊的大小,以bytes為單位,此參數可代替 ibs 和 obs。
count=blocks 僅拷貝blocks個塊。
skip=blocks 表示從輸入文件開頭跳過 blocks 個塊后再開始復制。
seek=blocks表示從輸出文件開頭跳過 blocks 個塊后再開始復制。(通常只有當輸出文件是磁盤或磁帶時才有效)
這里的輸入設備/dev/zero代表一個輸出永遠為0的設備文件,使用它作輸入可以得到全為空的文件。

2.激活和使用swap
首先通過mkswap命令指定作為交換空間的設備或者文件:

[root@localhost ~]#mkswap  /data/swapfile
Setting up swapspace version 1, size = 67104 kB
[root@localhost backup]# free
             total       used       free     shared    buffers     cached
Mem:       2066632    1998188      68444          0      26160    1588044
-/+ buffers/cache:     383984    1682648
Swap:      4088500     101036    3987464

從上面輸出可知,我們指定了一個67104 kB的交換空間,而此時新建的交換空間還未被使用,下面簡單介紹下mkswap命令,mkswap的一般使用格式為:

mkswap [參數] [設備名稱或文件][交換區大小]
參數:
-c:建立交換區前,先檢查是否有損壞的區塊。
-v0:建立舊式交換區,此為預設值。
-v1:建立新式交換區。
交換區大小:指定交換區的大小,單位為1024字節。

設置交換分區后,接着通過swapon命令激活swap:

[root@localhost backup]# free
             total       used       free     shared    buffers     cached
Mem:       2066632    1997668      68964          0      27404    1588880
-/+ buffers/cache:     381384    1685248
Swap:      4154028     100976    4053052

通過free命令可以看出,swap大小已經由4088500k變為4154028k,相差的值是60M左右,剛好等於我們增加的一個交換文件大小,這說明新增的交換分區已經可以使用了,但是如果linux重啟,那么新增的swap空間將變得不可用,因此需要在/etc/fstab中添加自動加載設置:

 /data/swapfile  none  swap  sw 0 0

如此以來,linux在重啟后就可以實現自動加載swap分區了。其實linux在啟動過程中會執行“swapon -a”命令,此命令會加載列在/etc/fstab中的所有交換空間。

3.移除swap
通過swapoff即可移除一個交換空間

[root@localhost ~]#/usr/sbin/swapoff /data/swapfile
其實也可以通過“swapoff -a”移除在/etc/fstab中定義的所有交換空間,這里的“swapoff -a”與上面提到的“swapon -a”對應。執行“swapoff -a”后,free命令輸出如下:
[root@localhost backup]# free
             total       used       free     shared    buffers     cached
Mem:       2066632    2048724      17908          0      30352    1642748
-/+ buffers/cache:     375624    1691008
Swap:            0          0          0

SWAP 操作

虛擬內存的 SWAP 特性並不總是有益,放任進程不停地將數據在內存與磁盤之間大量交換會極大地占用 CPU,降低系統運行效率,所以有時候我們並不希望使用 swap。

我們可以修改 vm.swappiness=0 來設置內存盡量少使用 swap,或者干脆使用swapoff 命令禁用掉 SWAP。設置vm.swappiness=0 后並不代表禁用swap分區,只是告訴內核,能少用到swap分區就盡量少用到,設置vm.swappiness=100的話,則表示盡量使用swap分區,默認的值是60

修改vm.swappiness:

cat /proc/sys/vm/swappiness
echo 0 > /proc/sys/vm/swappiness

永久設置

/etc/sysctl.conf增加一行 vm.swappiness = 0

操作系統的緩存機制(buffers和cached)

 在 Linux 操作系統中,當應用程序需要讀取文件中的數據時,操作系統先分配一些內存,將數據從磁盤讀入到這些內存中,然后再將數據分發給應用程序;當需要往文件中寫數據時,操作系統先分配內存接收用戶數據,然后再將數據從內存寫到磁盤上。然而,如果有大量數據需要從磁盤讀取到內存或者由內存寫入磁盤時,系統的讀寫性能就變得非常低下,因為無論是從磁盤讀數據,還是寫數據到磁盤,都是一個很消耗時間和資源的過程,在這種情況下,linux引入了buffers和cached機制。
buffers與cached都是內存操作,用來保存系統曾經打開過的文件以及文件屬性信息,這樣當操作系統需要讀取某些文件時,會首先在buffers與cached內存區查找,如果找到,直接讀出傳送給應用程序,如果沒有找到需要數據,才從磁盤讀取,這就是操作系統的緩存機制,通過緩存,大大提高了操作系統的性能。但buffers與cached緩沖的內容卻是不同的。
buffers是用來緩沖塊設備做的,它只記錄文件系統的元數據(metadata)以及 tracking in-flight pages,而cached是用來給文件做緩沖。更通俗一點說:buffers主要用來存放目錄里面有什么內容,文件的屬性以及權限等等。而cached直接用來記憶我們打開過的文件和程序。
為了驗證我們的結論是否正確,可以通過vi打開一個非常大的文件,看看cached的變化,然后再次vi這個文件,感覺一下兩次打開的速度有何異同,是不是第二次打開的速度明顯快於第一次呢?
接着執行下面的命令:

 find /* -name  *.conf

看看buffers的值是否變化,然后重復執行find命令,看看兩次顯示速度有何不同。
Linux操作系統的內存運行原理,很大程度上是根據服務器的需求來設計的,例如系統的緩沖機制會把經常使用到的文件和數據緩存在cached中,linux總是在力求緩存更多的數據和信息,這樣再次需要這些數據時可以直接從內存中取,而不需要有一個漫長的磁盤操作,這種設計思路提高了系統的整體性能。

Swap配置對性能的影響

  • 分配太多的Swap空間會浪費磁盤空間,而Swap空間太少,則系統會發生錯誤。如果系統的物理內存用光了,系統就會跑得很慢,但仍能運行;如果Swap空間用光了,那么系統就會發生錯誤。例如,Web服務器能根據不同的請求數量衍生出多個服務進程(或線程),如果Swap空間用完,則服務進程無法啟動,通常會出現“application is out of memory”的錯誤,嚴重時會造成服務進程的死鎖。
  • 通常情況下,Swap空間應大於或等於物理內存的大小,最小不應小於64M,通常Swap空間的大小應是物理內存的2-2.5倍。特別是數據庫服務器和Web服務器,隨着訪問量的增加,對Swap空間的要求也會增加,一般來說對於4G 以下的物理內存,配置2倍的swap,4G 以上配置1倍。
  • Swap分區的數量對性能也有很大的影響。因為Swap交換的操作是磁盤IO的操作,如果有多個Swap交換區,Swap空間的分配會以輪流的方式操作於所有的Swap,這樣會大大均衡IO的負載,加快Swap交換的速度。如果只有一個交換區,所有的交換操作會使交換區變得很忙,使系統大多數時間處於等待狀態,效率很低。用性能監視工具就會發現,此時的CPU並不很忙,而系統卻慢。這說明,瓶頸在IO上,依靠提高CPU的速度是解決不了問題的。

一些問題

  1. 為什么我的內存總是使用了90%?
    觀察過Linux在執行不同任務時的內核內存使用情況后,Linux 新用戶經常會很驚訝於他們無法“釋放”出更多的內存,即使退出了大型的應用程序后。為什么Linux 的內存總是90%呢?因為內核會盡可能有效地利用資源。所有進程沒有使用到的內存都被用來提高I/O操作的速度。
  2. 為什么linux物理內存還有很多,但是交換空間也使用了很多?
    例如,一個占用很大內存的進程運行時,需要耗費很多內存資源,此時就會有一些不常用頁面文件被交換到虛擬內存中,但后來這個占用很多內存資源的進程結束並釋放了很多內存時,剛才被交換出去的頁面文件並不會自動的交換進物理內存,除非有這個必要,那么此刻系統物理內存就會空閑很多,同時交換空間也在被使用
  3. 此時的CPU並不很忙,而系統卻慢?
    因為Swap交換的操作是磁盤IO的操作,交換操作會使交換區變得很忙,使系統大多數時間處於等待狀態,效率很低,用性能監視工具就會發現,此時的CPU並不很忙,而系統卻慢。這說明,瓶頸在IO上,依靠提高CPU的速度是解決不了問題的。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM