緩存(cached)是把讀取過的數據保存起來,重新讀取時若命中(找到需要的數據)就不要去讀硬盤了,若沒有命中就讀硬盤。其中的數據會根據讀取頻率進行組織,把最頻繁讀取的內容放在最容易找到的位置,把不再讀的內容不斷往后排,直至從中刪除。
緩沖(buffers)是根據磁盤的讀寫設計的,把分散的寫操作集中進行,減少磁盤碎片和硬盤的反復尋道,從而提高系統性能。linux有一個守護進程定期清空緩沖內容(即寫入磁盤),也可以通過sync命令手動清空緩沖。舉個例子吧:我這里有一個ext2的U盤,我往里面cp一個3M的MP3,但U盤的燈沒有跳動,過了一會兒(或者手動輸入sync)U盤的燈就跳動起來了。卸載設備時會清空緩沖,所以有些時候卸載一個設備時要等上幾秒鍾。
修改/etc/sysctl.conf中的vm.swappiness右邊的數字可以在下次開機時調節swap使用策略。該數字范圍是0~100,數字越大越傾向於使用swap。默認為60,可以改一下試試。–兩者都是RAM中的數據。
簡單來說,buffer是即將要被寫入磁盤的,而cache是被從磁盤中讀出來的。
buffer是由各種進程分配的,被用在如輸入隊列等方面。一個簡單的例子如某個進程要求有多個字段讀入,在所有字段被讀入完整之前,進程把先前讀入的字段放在buffer中保存。
cache經常被用在磁盤的I/O請求上,如果有多個進程都要訪問某個文件,於是該文件便被做成cache以方便下次被訪問,這樣可提高系統性能。
Buffer Cachebuffer cache,又稱bcache,其中文名稱為緩沖器高速緩沖存儲器,簡稱緩沖器高緩。另外,buffer cache按照其工作原理,又被稱為塊高緩。
參考:
http://baike.baidu.com/view/1113956.htm
[root@localhost libexec]# cat /proc/meminfo
MemTotal: 255596 kB
MemFree: 105252 kB
Buffers: 62652 kB
Cached: 51580 kB
SwapCached: 0 kB
Active: 95560 kB
Inactive: 38324 kB
HighTotal: 0 kB
HighFree: 0 kB
LowTotal: 255596 kB
LowFree: 105252 kB
SwapTotal: 524280 kB
SwapFree: 524280 kB
Dirty: 36 kB
Writeback: 0 kB
AnonPages: 19668 kB
Mapped: 7372 kB
Slab: 11580 kB
PageTables: 1384 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
CommitLimit: 652076 kB
Committed_AS: 62360 kB
VmallocTotal: 770040 kB
VmallocUsed: 3060 kB
VmallocChunk: 766588 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
Hugepagesize: 4096 kB
理解linux內存管理,需要深入了解linux內存的各個參數含義和規則,下面介紹一下Linux操作系統中內存buffer和cache的區別。
Free
free 命令相對於top 提供了更簡潔的查看系統內存使用情況:
[root@blliu ~]# free -mt
total used free shared buffers cached
Mem: 3886 3860 26 0 76 3016
-/+ buffers/cache: 768 3118
Swap: 10236 0 10236
Total: 14123 3860 10262
Mem:表示物理內存統計
-/+ buffers/cached:表示物理內存的緩存統計
Swap:表示硬盤上交換分區的使用情況,這里我們不去關心。
系統的總物理內存:3886M,但系統當前真正可用的內存b並不是第一行free 標記的 26M,它僅代表未被分配的內存。
我們使用total1、used1、free1、used2、free2 等名稱來代表上面統計數據的各值,1、2 分別代表第一行和第二行的數據。
total1:表示物理內存總量。
used1:表示總計分配給緩存(包含buffers 與cache )使用的數量,但其中可能部分緩存並未實際使用。
free1:未被分配的內存。
shared1:共享內存,一般系統不會用到,這里也不討論。
buffers1:系統分配但未被使用的buffers 數量。
cached1:系統分配但未被使用的cache 數量。buffer 與cache 的區別見后面。
used2:實際使用的buffers 與cache 總量,也是實際使用的內存總量。
free2:未被使用的buffers 與cache 和未被分配的內存之和,這就是系統當前實際可用內存。
可以整理出如下等式:
total1 = used1 + free1total1 = used2 + free2used1 = buffers1 + cached1 + used2free2 = buffers1 + cached1 + free1
buffer 與cache 的區別
A buffer is something that has yet to be "written" to disk. A cache is something that has been "read" from the disk and stored for later use.
更詳細的解釋參考:Difference Between Buffer and Cache
對於共享內存(Shared memory),主要用於在UNIX 環境下不同進程之間共享數據,是進程間通信的一種方法,一般的應用程序不會申請使用共享內存,筆者也沒有去驗證共享內存對上面等式的影響。如果你有興趣,請參考:What is Shared Memory?
cache 和 buffer的區別:
Cache:高速緩存,是位於CPU與主內存間的一種容量較小但速度很高的存儲器。由於CPU的速度遠高於主內存,CPU直接從內存中存取數據要等待一定時間周期,Cache中保存着CPU剛用過或循環使用的一部分數據,當CPU再次使用該部分數據時可從Cache中直接調用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1 Cache)和二級Cache(L2 Cache),L1 Cache集成在CPU內部,L2 Cache早期一般是焊在主板上,現在也都集成在CPU內部,常見的容量有256KB或512KB L2 Cache。
Buffer:緩沖區,一個用於存儲速度不同步的設備或優先級不同的設備之間傳輸數據的區域。通過緩沖區,可以使進程之間的相互等待變少,從而使從速度慢的設備讀入數據時,速度快的設備的操作進程不發生間斷。
Free中的buffer和cache:(它們都是占用內存):
buffer : 作為buffer cache的內存,是塊設備的讀寫緩沖區
cache: 作為page cache的內存, 文件系統的cache
如果 cache 的值很大,說明cache住的文件數很多。如果頻繁訪問到的文件都能被cache住,那么磁盤的讀IO bi會非常小。
我們使用的Linux和Windows可不太一樣,用top命令得出來的可能不是真實使用的內存,用free命令第二行才是系統真實使用的內存。如 果發現PHP-CGI把你的內存占滿了可不要驚慌哦。
Page cache和buffer cache一直以來是兩個比較容易混淆的概念,在網上也有很多人在爭辯和猜想這兩個cache到底有什么區別,討論到最后也一直沒有一個統一和正確的結 論,在我工作的這一段時間,page cache和buffer cache的概念曾經困擾過我,但是仔細分析一下,這兩個概念實際上非常的清晰。如果能夠了解到這兩個cache的本質,那么我們在分析io問題的時候可 能會更加得心應手。
Page cache實際上是針對文件系統的,是文件的緩存,在文件層面上的數據會緩存到page cache。文件的邏輯層需要映射到實際的物理磁盤,這種映射關系由文件系統來完成。當page cache的數據需要刷新時,page cache中的數據交給buffer cache,但是這種處理在2.6版本的內核之后就變的很簡單了,沒有真正意義上的cache操作。
Buffer cache是針對磁盤塊的緩存,也就是在沒有文件系統的情況下,直接對磁盤進行操作的數據會緩存到buffer cache中,例如,文件系統的元數據都會緩存到buffer cache中。
簡單說來,page cache用來緩存文件數據,buffer cache用來緩存磁盤數據。在有文件系統的情況下,對文件操作,那么數據會緩存到page cache,如果直接采用dd等工具對磁盤進行讀寫,那么數據會緩存到buffer cache。
補充一點,在文件系統層 每個設備都會分配一個def_blk_ops的文件操作方法,這是設備的操作方法,在每個設備的inode下面會存在一個 radix tree,這個radix tree下面將會放置緩存數據的page頁。這個page的數量將會在top程序的buffer一欄中顯示。如果設備做了文件系統,那么會生成一個 inode,這個inode會分配ext3_ops之類的操作方法,這些方法是文件系統的方法,在這個inode下面同樣存在一個radix tree,這里會緩存文件的page頁,緩存頁的數量在top程序的cache一欄進行統計。從上面的分析可以看出,2.6內核中的buffer cache和page cache在處理上是保持一致的,但是存在概念上的差別,page cache針對文件的cache,buffer是針對磁盤塊數據的cache,僅此而已。
現在不都是只有page cache了嗎? buffer pages其實也是page cache里面的頁。只是多了一層抽象,通過buffer_head來進行一些訪問管理
對,從Linux算法實現的角度,page cache和buffer cache目前是一樣的,但是從功能抽象和具體應用來講,這兩者還是存在區別的,這一點可以從top工具的統計信息中看得出來,關注一下buffer和 cache這兩個統計量。
增加一些資料:
A buffer is something that has yet to be “written” to disk. A cache is something that has been “read” from the disk and stored for later use.
在終端中敲入:free
顯 示: total used free shared buffers cached
Mem: 255268 238332 16936 0 85540 126384
-/+ buffers/cache:26408 228860
系統的總物理內存:255268Kb(256M),但系統 當前真正可用的內存並不是第一行free 標記的 16936Kb,它僅代表未被分配的內存。
我們使用total1、used1、 free1、used2、free2 等名稱來代表上面統計數據的各值,1、2 分別代表第一行和第二行的數據。
total1:表示物理 內存總量。
used1:表示總計分配給緩存(包含buffers 與cache )使用的數量,但其中可能部分緩存並未實際使用。
free1:未被分配的內存。
shared1:共享內存,一般系統不會用到,這里也不討論。
buffers1: 系統分配但未被使用的buffers 數量。
cached1:系統分配但未被使用的cache 數量。buffer 與cache 的區別見后面。
used2:實際使用的buffers 與cache 總量,也是實際使用的內存總量。
free2:未被 使用的buffers 與cache 和未被分配的內存之和,這就是系統當前實際可用內存。
可以整理出如下等式:
total1 = used1 + free1
total1 = used2 + free2
used1 = buffers1 + cached1 + used2
free2 = buffers1 + cached1 + free1