性能測試必備知識(11)- 怎么理解內存中的Buffer和Cache?


做性能測試的必備知識系列,可以看下面鏈接的文章哦

https://www.cnblogs.com/poloyy/category/1806772.html

 

緩存

  • 從 free 命令可以看到,緩存其實就是 Buffer 和 Cache 兩部分的總和
  • 字面意思,Buffer 是緩存區,Cache 是緩存,兩者都是數據在內存中的臨時存儲

 

Buffer 和 Cache 的區別

man free

執行上面的命令,可以從幫助手冊中看到 buffer 和 cache 說明

  • Buffers:內核緩沖區用到的內存,對應的是 /proc/meminfo 中的 Buffers
  • Cache:內核頁緩存和 Slab 用到的內存,對應的是 /proc/meminfo 中的 Cached SReclaimable 之和

 

注意事項

  • 同一個指標的具體含義,就可能因為內核版本、性能工具版本的不同而有挺大差別
  • 所以百度 Buffer 和 Cache 什么意思可能並不適用於你當前的環境
  • 所以可以通過下面說的 proc 文件系統來確認它們的含義

 

proc 文件系統

再次回顧 proc

  •  /proc 是 Linux 內核提供的一種特殊文件系統,是用戶跟內核交互的接口
  • 比方說,用戶可以從 /proc 中查詢內核的運行狀態和配置選項, 查詢進程的運行狀態、統計數據等,也可以通過 /proc 來修改內核的配置
  • proc 文件系統同時也是很多性能工具的最終數據來源

 

了解 Buffer 和 Cache

查看幫助文檔,找到它們

man proc

 

Buffers

  • 原始磁盤塊的臨時存儲,也就是用來緩存磁盤的數據,通常不會特別大 (20MB 左右)
  • 內核就可以把分散的寫集中起來,統一優化磁盤的寫入,比如,可以把多次小的寫合並成單次大的寫等等

 

Cached

  • 從磁盤讀取文件的頁緩存,也就是用來緩存從文件讀取的數據
  • 這樣,下次訪問這些文件數據時,就可以直接從內存中快速獲取,而不需要再次訪問緩慢的磁盤。

 

SReclaimable

  • 是 Slab 的一部分
  • Slab 包括兩部分,其中的可回收部分,用 SReclaimable 記錄;而不可回收部分,用 SUnreclaim 記錄

 

靈魂拷問

  • Buffers 能不能緩存磁盤中的數據?
  • Cached 能不能緩存磁盤中的數據?

 

為了驗證上面的問題,會通過案例來展開描述

 

Buffer 和 Cache 在不同場景下的使用情況

系統配置

  • 操作系統:Ubuntu 18.04
  • 機器配置:2 CPU,8GB 內存
  • 預先安裝 sysstat 包  apt install sysstat 
  • 打開兩個終端連接到 Ubuntu 系統上

 

前期准備

為了減少緩存的影響,在第一個終端中,運行下面的命令來清理文件頁、目錄項、Inodes 等各種緩存

echo 3 > /proc/sys/vm/drop_caches

 

場景一:磁盤和文件寫案例

文件寫場景

第一個終端運行 vmstat

vmstat 1 

結果分析

  • 輸出界面里, 內存部分的 buff 和 cache ,以及 io 部分的 bi 和 bo 就是要關注的重點
  • buff 和 cache 就是我們前面看到的 Buffers 和 Cache,單位是 KB
  • bi 和 bo 則分別表示塊設備讀取和寫入的大小,單位為塊 / 秒,因為 Linux 中塊的大小是 1KB,所以這個單位也就等價於 KB/s
  • 正常情況下,空閑系統中,你應該看到的是,這幾個值在多次結果中一直保持不變

 

第二個終端運行 dd

# 讀取隨機設備,生成一個 500MB 大小的文件
dd if=/dev/urandom of=/tmp/file bs=1M count=500

 

觀察第一個終端的 vmstat 運行情況

結果分析

  • 從 dd 命令開始運行時,cache 不斷增加,而 buff 基本不變(看藍色向下箭頭)
  • 在 cache 剛開始增長時,塊設備 I/O 很少,bi、bo 都是 0KB,而在之后才出現大量的塊設備寫,bo 變成了 98384
  • 當 dd 命令結束后,cache 不再持續性增長,但塊設備寫還會持續一段時間,並且多次 I/O 寫的結果加起來(bo 藍色框),就是 dd 要寫的 500M 的數據

 

磁盤寫場景

前提條件

  • 需要你的系統配置多塊磁盤,並且磁盤分區 /dev/sdb1 還要處於未使用狀態
  • 如果你只有一塊磁盤,千萬不要嘗試,否則將會對你的磁盤分區造成損壞

 

第二個終端運行 dd

echo 3 > /proc/sys/vm/drop_caches

# 然后運行 dd 命令向磁盤分區 /dev/sdb1 寫入 2G 數據
dd if=/dev/urandom of=/dev/sdb1 bs=1M count=2048

 

第一個終端運行 vmstat,觀察內存和 I/O 的變化情況

結果分析

  • buff 和 cache 都在增長,但 buff 增長速度快很多
  • 說明寫磁盤用到了大量的 Buffer

 

總結

  • 寫文件時會用到 Cache 緩存數據,而寫磁盤則會用到 Buffer 來緩存數據
  • 所以,雖然文檔上只提到,Cache 是文件讀的緩存,但實際上,Cache 也會緩存寫文件時的數據

 

場景二:磁盤和文件讀案例

文件讀場景

第二個終端運行 dd 讀取文件

echo 3 > /proc/sys/vm/drop_caches

# 然后運行 dd 命令讀取文件數據
dd if=/dev/sda1 of=/dev/null bs=1M count=1024

 

第一個終端運行 vmstat 觀察內存和 I/O 變化情況

結果分析

  • 讀取文件時(也就是 bi 大於 0 時),Buffer 保持不變,而 Cache 則在不停增長
  • 這跟查到的定義【Cache 是對文件讀的頁緩存】是一致的

 

磁盤讀場景

第二個終端運行 dd 讀取磁盤

echo 3 > /proc/sys/vm/drop_caches

# 運行 dd 命令讀取文件
dd if=/dev/sda1 of=/dev/null bs=1M count=1024

 

第一個終端運行 vmstat 觀察內存和 I/O 變化情況

結果分析

  • 讀磁盤時(也就是 bi 大於 0 時),Buffer 和 Cache 都在增長,但顯然 Buffer 的增長快很多
  • 這說明讀磁盤時,數據緩存到了 Buffer 中

 

總結 Buffer 和 Cache 的說明

  • Buffer 既可以用作將要寫入磁盤數據的緩存,也可以用作從磁盤讀取數據的緩存
  • Cache 既可以用作從文件讀取數據的頁緩存,也可以用作寫文件的頁緩存
  • 總結:Buffer 是對磁盤數據的緩存,而 Cache 是文件數據的緩存,它們既會用在讀請求中,也會用在寫請求

 

從讀寫角度總結 Buffer 和 Cache 緩存磁盤和文件系統的讀寫數據

  • 的角度來說,不僅可以優化磁盤和文件的寫入,對應用程序也有好處,應用程序可以在數據真正落盤前,就返回去做其他工作
  • 的角度來說,既可以加速讀取那些需要頻繁訪問的數據,也降低了頻繁 I/O 對磁盤的壓力

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM