緩存機制
在Linux系統中，為了提高文件系統性能，內核利用一部分物理內存分配出緩沖區，用於緩存系統操作和數據文件，當內核收到讀寫的請求時，內核先去緩存區找是否有請求的數據，有就直接返回，如果沒有則通過驅動程序直接操作磁盤。
緩存機制優點：減少系統調用次數，降低CPU上下文切換和磁盤訪問頻率。
CPU上下文切換：CPU給每個進程一定的服務時間，當時間片用完后，內核從正在運行的進程中收回處理器，同時把進程當前運行狀態保存下來，然后加載下一個任務，這個過程叫做上下文切換。實質上就是被終止運行進程與待運行進程的進程切換。
Swap用途：Swap意思是交換分區，通常我們說的虛擬內存，是從硬盤中划分出的一個分區。當物理內存不夠用的時候，內核就會釋放緩存區（buffers/cache）里一些長時間不用的程序，然后將這些程序臨時放到Swap中，也就是說如果物理內存和緩存區內存不夠用的時候，才會用到Swap。
swap清理：swapoff -a && swapon -a
查看緩存區及內存使用情況
[root@backup ~]# free -m //使用-m參數表示以兆字節為單位顯示內存 total used free shared buffers cached Mem: 64181 44372 19809 3 12 216 -/+ buffers/cache: 44143 20038 Swap: 32767 0 32767 第一部分Mem行解釋： total：內存總數； used：已經使用的內存數； free：空閑的內存數； shared：當前已經廢棄不用； buffers Buffer：緩存內存數； cached Page：緩存內存數。 關系：total = used + free 第二部分(-/+ buffers/cache)解釋: (-buffers/cache) used內存數：第一部分Mem行中的 used – buffers – cached (+buffers/cache) free內存數: 第一部分Mem行中的 free + buffers + cached 可見-buffers/cache反映的是被程序實實在在吃掉的內存，而+buffers/cache反映的是可以挪用的內存總數。 第三部分是指交換分區。 --------------------------------------------------------------------------------------------- 以字節為單位顯示內存 加上-b參數的free命令，以字節為單位顯示內存的大小。
---------------------------------------------------------------------------------------------
定期時間間隔更新內存狀態
-s選項加上一個整數，用來在定期時間間隔內更新
free
命令。舉個例子，下面的命令將會在每5秒更新一個
free
命令。
[root@backup ~]
# free -s 5
-------------------------------------------------------------------------
buffers和cached解釋
#############定義############################## 緩存（cached）是把讀取過的數據保存起來，重新讀取時若命中（找到需要的數據）就不要去讀硬盤了，若沒有命中就讀硬盤。其中的數據會根據讀取頻率進行組織，把最頻繁讀取的內容放在最容易找到的位置，把不再讀的內容不斷往后排，直至從中刪除。 緩沖（buffers）是根據磁盤的讀寫設計的，把分散的寫操作集中進行，減少磁盤碎片和硬盤的反復尋道，從而提高系統性能。linux有一個守護進程定期清空緩沖內容（即寫入磁盤），也可以通過sync命令手動清空緩沖。舉個例子吧：我這里有一個ext2的U盤，我往里面cp一個3M的MP3，但U盤的燈沒有跳動，過了一會兒（或者手動輸入sync）U盤的燈就跳動起來了。卸載設備時會清空緩沖，所以有些時候卸載一個設備時要等上幾秒鍾。 修改/etc/sysctl.conf中的vm.swappiness右邊的數字可以在下次開機時調節swap使用策略。該數字范圍是0～100，數字越大越傾向於使用swap。默認為60，可以改一下試試。–兩者都是RAM中的數據。 兩者都是RAM中的數據，簡單來說，buffer是即將要被寫入磁盤的，而cache是被從磁盤中讀出來的。 buffer是由各種進程分配的，被用在如輸入隊列等方面。一個簡單的例子如某個進程要求有多個字段讀入，在所有字段被讀入完整之前，進程把先前讀入的字段放在buffer中保存。 cache經常被用在磁盤的I/O請求上，如果有多個進程都要訪問某個文件，於是該文件便被做成cache以方便下次被訪問，這樣可提高系統性能。 ################################################## Cache：緩沖區，高速緩存，是位於CPU與主內存間的一種容量較小但速度很高的存儲器。由於CPU的速度遠高於主內存，CPU直接從內存中存取數據要等待一定時間周期，Cache中保存着CPU剛用過或循環使用的一部分數據，當CPU再次使用該部分數據時可從Cache中直接調用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1 Cache)和二級Cache(L2 Cache)，L1 Cache集成在CPU內部，L2 Cache早期一般是焊在主板上,現在也都集成在CPU內部，常見的容量有256KB或512KB L2 Cache。它是根據程序的局部性原理而設計的，就是cpu執行的指令和訪問的數據往往在集中的某一塊，所以把這塊內容放入cache后，cpu就不用在訪問內存了，這就提高了訪問速度。當然若cache中沒有cpu所需要的內容，還是要訪問內存的。從內存讀取與磁盤讀取角度考慮，cache可以理解為操作系統為了更高的讀取效率，更多的使用內存來緩存可能被再次訪問的數據。 Cache並不是緩存文件的，而是緩存塊的(塊是I/O讀寫最小的單元)；Cache一般會用在I/O請求上，如果多個進程要訪問某個文件，可以把此文件讀入Cache中，這樣下一個進程獲取CPU控制權並訪問此文件直接從Cache讀取，提高系統性能。 Buffer：緩沖區，一個用於存儲速度不同步的設備或優先級不同的設備之間傳輸數據的區域。通過buffer可以減少進程間通信需要等待的時間，當存儲速度快的設備與存儲速度慢的設備進行通信時，存儲慢的數據先把數據存放到buffer，達到一定程度存儲快的設備再讀取buffer的數據，在此期間存儲快的設備CPU可以干其他的事情。 Buffer：一般是用在寫入磁盤的，例如：某個進程要求多個字段被讀入，當所有要求的字段被讀入之前已經讀入的字段會先放到buffer中。Buffer是根據磁盤的讀寫設計的，把分散的寫操作集中進行，減少磁盤碎片和硬盤的反復尋道，從而提高系統性能。linux有一個守護進程定期清空緩沖內容（即寫入磁盤），也可以通過sync命令手動清空緩沖。 cache是高速緩存，用於CPU和內存之間的緩沖； buffer是I/O緩存，用於內存和硬盤的緩沖； cache最初用於cpu cache，主要原因是cpu 與memory，由於cpu快，memory跟不上,且有些值使用次數多，所以放入cache中，主要目的是，重復使用，並且一級\二級物理cache速度快， buffer主要用於disk與 memory，主要是保護硬盤或減少網絡傳輸的次數（內存數據表現dataSet）．當然也可以提高速度（不會立即寫入硬盤或直接從硬盤中讀出的數據馬上顯示），重復使用，最初最主要的目的是保護disk, Free中的buffer和cache：（它們都是占用內存）： buffer : 作為buffer cache的內存，是塊設備的讀寫緩沖區 cache: 作為page cache的內存, 文件系統的cache 如果 cache 的值很大，說明cache住的文件數很多。如果頻繁訪問到的文件都能被cache住，那么磁盤的讀IO bi會非常小。 ################################################ 簡單通俗的例子來說明下Cache和Buffer緩存之間的區別： 1）Cache緩存 假設某地發生了自然災害（比如地震），居民缺衣少食，於是派救火車去給若干個居民點送水。救火車到達第一個居民點，開閘放水，老百姓就拿着盆盆罐罐來接水。假如說救火車在一個居民點停留100分鍾放完了水，然后重新儲水花半個小時，再開往下一個居民點。這樣一個白天來來來回回的，也就是4-5個居民點。 但我們想想，救火車是何等存在，如果把水龍頭完全打開，其強大的水壓能輕易沖上10層樓以上， 10分鍾就可以把水全部放完。但因為居民是拿盆罐接水，100%打開水龍頭那就是給人洗澡了，所以只能打開一小部分（比如10%的流量）。但這樣就降低了放水的效率（只有原來的10%了），10分鍾變100分鍾。 那么，我們是否能改進這個放水的過程，讓救火車以最高效率放完水、盡快趕往下一個居民點呢？ 方法就是：在居民點建蓄水池。 救火車把水放到蓄水池里，因為是以100%的效率放水，10分鍾結束然后走人。居民再從蓄水池里一點一點的接水。 我們分析一下這個例子，就可以知道Cache的含義了。 救火車要給居民送水，居民要從救火車接水，就是說居民和救火車之間有交互，有聯系。 但救火車是"高速設備"，居民是"低速設備"，低速的居民跟不上高速的救火車，所以救火車被迫降低了放水速度以適應居民。 為了避免這種情況，在救火車和居民之間多了一層"蓄水池（也就是Cache）"，它一方面以100%的高效和救火車打交道，另一方面以10%的低效和居民打交道，這就解放了救火車，讓其以最高的效率運行，而不被低速的居民拖后腿，於是救火車只需要在一個居民點停留10分鍾就可以了。 所以說，蓄水池是"活雷鋒"，把高效留給別人，把低效留給自己。把10分鍾留給救火車，把100分鍾留給自己。 從以上例子可以看出，所謂Cache，就是"為了彌補高速設備和低速設備之間的矛盾"而設立的一個中間層。因為在現實里經常出現高速設備要和低速設備打交道，結果被低速設備拖后腿的情況。Cache的存在是為了解決什么問題？速度太慢了，要加快速度！ 以PC為例。CPU速度很快，但CPU執行的指令是從內存取出的，計算的結果也要寫回內存，但內存的響應速度跟不上CPU。CPU跟內存說：你把某某地址的指令發給我。內存聽到了，但因為速度慢，遲遲不見指令返回，這段時間，CPU只能無所事事的等待了。這樣一來，再快的CPU也發揮不了效率。 怎么辦呢？在CPU和內存之間加一塊"蓄水池"，也就是Cache（片上緩存），這個Cache速度比內存快，從Cache取指令不需要等待。當CPU要讀內存的指令的時候先讀Cache再讀內存，但一開始Cache是空着的，只能從內存取，這時候的確是很慢，CPU需要等待。但從內存取回的不僅僅是CPU所需要的指令，還有其它的、當前不需要的指令，然后把這些指令存在Cache里備用。CPU再取指令的時候還是先讀Cache，看看里面有沒有所需指令，如果碰巧有就直接從Cache取，不用等待即可返回（命中），這就解放了CPU，提高了效率。（當然不會是100%命中，因為Cache的容量比內存小） 2）Buffer緩存 比如說吐魯番的葡萄熟了，要用大卡車裝葡萄運出去賣果園的姑娘采摘葡萄，當然不是前手把葡萄摘下來,后手就放到卡車上，而是需要一個中間過程"籮筐"：摘葡萄→放到籮筐里→把籮筐里的葡萄倒入卡車。也就是說，雖然最終目的是"把葡萄倒入卡車"，但中間必須要經過"籮筐"的轉手，這里的籮筐就是Buffer。是"暫時存放物品的空間"。 注意2個關鍵詞：暫時，空間 再換句話說，為了完成最終目標：把葡萄放入卡車的空間，需要暫時把葡萄放入籮筐的空間。 以BT為例，BT下載需要長時間的掛機，電腦就有可能24小時連軸轉，但BT下載的數據是碎片化的，體現在硬盤寫入上也是碎片化的，因為硬盤是機械尋址器件，這種碎片化的寫入會造成硬盤長時間高負荷的機械運動，造成硬盤過早老化損壞，當年有大量的硬盤因為BT下載而損壞。於是新出的BT軟件在內存里開辟了Buffer，數據暫時寫入Buffer，攢到一定的大小（比如512M）再一次性寫入硬盤，這種"化零為整"的寫入方式大大降低了硬盤的負荷。這就是：為了完成最終目標：把數據寫入硬盤空間，需要暫時寫入Buffer的空間。 3）二者之間的區別總結 Cache和Buffer的相同點：都是2個層面之間的中間層，都是內存。 Cache和Buffer的不同點：Cache解決的是時間問題，Buffer解決的是空間問題。 為了提高速度，引入了Cache這個中間層。 為了給信息找到一個暫存空間，引入了Buffer這個中間層。 為了解決2個不同維度的問題（時間、空間），恰巧取了同一種解決方法：加入一個中間層，先把數據寫到中間層上，然后再寫入目標。 這個中間層就是內存“RAM”，既然是存儲器就有2個參數：寫入的速度有多塊（速度），能裝多少東西（容量） Cache利用的是RAM提供的高讀寫速度，Buffer利用的是RAM提供的存儲容量（空間）。 a）Buffer（緩沖區）是系統兩端處理速度平衡（從長時間尺度上看）時使用的。它的引入是為了減小短期內突發I/O的影響，起到流量整形的作用。比如生產者——消費者問題，他們產生和消耗資源的速度大體接近，加一個buffer可以抵消掉資源剛產生/消耗時的突然變化。 b）Cache（緩存）則是系統兩端處理速度不匹配時的一種折衷策略。因為CPU和memory之間的速度差異越來越大，所以人們充分利用數據的局部性（locality）特征，通過使用存儲系統分級（memory hierarchy）的策略來減小這種差異帶來的影響。 c）假定以后存儲器訪問變得跟CPU做計算一樣快，cache就可以消失，但是buffer依然存在。比如從網絡上下載東西，瞬時速率可能會有較大變化，但從長期來看卻是穩定的，這樣就能通過引入一個buffer使得OS接收數據的速率更穩定，進一步減少對磁盤的傷害。 ##################################################
手動清理緩存
釋放緩存區內存的方法 1）清理pagecache（頁面緩存） [root@backup ~]# echo 1 > /proc/sys/vm/drop_caches 或者 # sysctl -w vm.drop_caches=1 2）清理dentries（目錄緩存）和inodes [root@backup ~]# echo 2 > /proc/sys/vm/drop_caches 或者 # sysctl -w vm.drop_caches=2 3）清理pagecache、dentries和inodes [root@backup ~]# echo 3 > /proc/sys/vm/drop_caches 或者 # sysctl -w vm.drop_caches=3 上面三種方式都是臨時釋放緩存的方法，要想永久釋放緩存，需要在/etc/sysctl.conf文件中配置：vm.drop_caches=1/2/3，然后sysctl -p生效即可！ 另外，可以使用sync命令來清理文件系統緩存，還會清理僵屍(zombie)對象和它們占用的內存 [root@backup ~]# sync 溫馨提示： 上面操作在大多數情況下都不會對系統造成傷害，只會有助於釋放不用的內存。 但是如果在執行這些操作時正在寫數據，那么實際上在數據到達磁盤之前就將它從文件緩存中清除掉了，這可能會造成很不好的影響。 那么如果避免這種事情發生呢？ 因此，這里不得不提一下/proc/sys/vm/vfs_cache_pressure這個文件，告訴內核，當清理inoe/dentry緩存時應該用什么樣的優先級。 [root@backup ~]# cat /proc/sys/vm/vfs_cache_pressure 100 vfs_cache_pressure=100 這個是默認值，內核會嘗試重新聲明dentries和inodes，並采用一種相對於頁面緩存和交換緩存比較"合理"的比例。 減少vfs_cache_pressure的值，會導致內核傾向於保留dentry和inode緩存。 增加vfs_cache_pressure的值，（即超過100時），則會導致內核傾向於重新聲明dentries和inodes 總之，vfs_cache_pressure的值： 小於100的值不會導致緩存的大量減少 超過100的值則會告訴內核你希望以高優先級來清理緩存。 其實無論vfs_cache_pressure的值采用什么值，內核清理緩存的速度都是比較低的。 如果將此值設置為10000，系統將會將緩存減少到一個合理的水平。 ====================================================== 這里順便說下自己遇到的一個內存問題： IDC機房有一台專門的備份服務器，每天凌晨執行多個備份腳本。某天早上突然發現收到很多條zabbix監控報警信息：這台備份服務器的內存使用了已超過80%！ 於是，趕緊登陸這台備份服務器，使用free命令查看內存使用情況： [root@backup ~]# free -m total used free shared buffers cached Mem: 64181 48585 15596 3 2 18 -/+ buffers/cache: 48564 15617 Swap: 32767 0 3276 確實發現內存使用率已超過80%！但是使用"top"命令查看，發現此時並沒有什么進程在占用內存，並且本機是備份服務器，只有晚上執行備份腳本， 其他時間都沒有服務進程在跑！於是嘗試手動釋放內存： [root@backup ~]# echo 1 > /proc/sys/vm/drop_caches [root@backup ~]# echo 2 > /proc/sys/vm/drop_caches [root@backup ~]# echo 3 > /proc/sys/vm/drop_caches [root@backup ~]# sync 發現在執行了上面第三條命令后，內存才真正被釋放出來了，其他命令都沒有起到效果。