linux磁盤io性能測試工具


 概述

在磁盤測試中我們一般最關心的幾個指標分別為:iops(每秒執行的IO次數)、bw(帶寬,每秒的吞吐量)、lat(每次IO操作的延遲)。

當每次IO操作的block較小時,如512bytes/4k/8k等,測試的主要是iops。

當每次IO操作的block較大時,如256k/512k/1M等,測試的主要是bw。

 

一、dd命令

dd是linux自帶的磁盤讀寫工具,可用於測試順序讀寫。

一般而言,磁盤讀寫有兩種方式:BufferIO、DirectIO,DirectIO可以更好的了解純磁盤讀寫的性能。

1、語法

語法格式

  1. dd [option] 

dd指令選項詳解

  1. if=file:輸入文件名,缺省為標准輸入 
  2. of=file:輸出文件名,缺省為標准輸出 
  3. ibs=bytes:一次讀入 bytes 個字節(即一個塊大小為 bytes 個字節) 
  4. obs=bytes:一次寫 bytes 個字節(即一個塊大小為 bytes 個字節) 
  5. bs=bytes:同時設置讀寫塊的大小為 bytes ,可代替 ibs 和 obs 
  6. cbs=bytes:一次轉換 bytes 個字節,即轉換緩沖區大小 
  7. skip=blocks:從輸入文件開頭跳過 blocks 個塊后再開始復制 
  8. seek=blocks:從輸出文件開頭跳過 blocks 個塊后再開始復制。(通常只有當輸出文件是磁盤或磁帶時才有效) 
  9. count=blocks:僅拷貝 blocks 個塊,塊大小等於 ibs 指定的字節數 
  10. conv=ASCII:把EBCDIC碼轉換為ASCIl碼。 
  11. conv=ebcdic:把ASCIl碼轉換為EBCDIC碼。 
  12. conv=ibm:把ASCIl碼轉換為alternate EBCDIC碼。 
  13. conv=block:把變動位轉換成固定字符。 
  14. conv=ublock:把固定位轉換成變動位。 
  15. conv=ucase:把字母由小寫轉換為大寫。 
  16. conv=lcase:把字母由大寫轉換為小寫。 
  17. conv=notrunc:不截短輸出文件。 
  18. conv=swab:交換每一對輸入字節。 
  19. conv=noerror:出錯時不停止處理。 
  20. conv=sync:把每個輸入記錄的大小都調到ibs的大小(用NUL填充)。 

FLAGS參數說明:

  1. append -append mode (makes sense only for output; conv=notrunc sug-gested) 
  2. direct:讀寫數據采用直接IO方式; 
  3. directory:讀寫失敗除非是directory; 
  4. dsync:讀寫數據采用同步IO; 
  5. sync:同上,但是針對是元數據 
  6. fullblock:堆積滿block(accumulate full blocks of input )(iflag only); 
  7. nonblock:讀寫數據采用非阻塞IO方式 
  8. noatime:讀寫數據不更新訪問時間 

注意:指定數字的地方若以下列字符結尾乘以相應的數字:b=512, c=1, k=1024, w=2, xm=number m,kB=1000,K=1024,MB=1000*1000,M=1024*1024,GB=1000*1000*1000,G=1024*1024*1024

2、dd測試DirectIO

  1. iops——寫測試 dd if=/dev/zero of=./a.dat bs=8k count=1M oflag=direct 
  2. iops——讀測試 dd if=./a.dat of=/dev/null bs=8k count=1M iflag=direct 
  3. bw——寫測試 dd if=/dev/zero of=./a.dat bs=1M count=8k oflag=direct 
  4. bw——讀測試 dd if=./a.dat of=/dev/null bs=1M count=8k iflag=direct 

3、 dd測試BufferIO

BufferIO主要出現在一些大文件讀寫的場景,由於使用內存做Cache所以讀寫性能上和DirectIO相比,通常會高很多,尤其是讀,所以這個場景下我們僅關心bw即可。

用dd測試BufferIO的寫時,需要增加一個conv=fdatasync,使用該參數,在完成所有讀寫后會調用一個sync確保數據全部刷到磁盤上(期間操作系統也有可能會主動flush),否則就是主要在測內存讀寫了;

另外還有一個參數是oflag=dsync,使用該參數也是走的BufferIO,但卻是會在每次IO操作后都執行一個sync。

通常conv=fdatasync更符合大文件讀寫的場景,所以這里以其作為參數進行測試。

  1. bw——寫測試 dd if=/dev/zero of=./a.dat bs=1M count=8k conv=fdatasync 
  2. bw——讀測試 dd if=./a.dat of=/dev/null bs=1M count=8k 

二、 fio工具

fio是專門用於測試磁盤IO的工具,與dd相比那是要強大非常多,它可以用於測試順序讀寫、隨機讀寫、順序混合讀寫、隨機混合讀寫,並且可以調整IO並發量,在測試完成后還會生成一份測試報告,相當給力。

1、測試場景:

100%隨機,100%讀, 4K

  1. fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=rand_100read_4k 

100%隨機,100%寫, 4K

  1. fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=rand_100write_4k 

100%順序,100%讀 ,4K

  1. fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100read_4k 

100%順序,100%寫 ,4K

  1. fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100write_4k 

100%隨機,70%讀,30%寫 4K

  1. fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=randrw_70read_4k 

三、iozone

IOzone is a filesystem benchmark tool. The benchmark generates and measures a variety of file operations. Iozone has been ported to many machines and runs under many operating systems.

iozone是一個文件系統的benchmark工具,可以測試不同的操作系統中文件系統的讀寫性能。 可以測試 Read, write, re-read,re-write, read backwards, read strided, fread, fwrite, random read, pread, mmap, aio_read, aio_write 等等不同的模式下的硬盤的性能。 測試的時候請注意,設置的測試文件的大小一定要大過你的內存(最佳為內存的兩倍大小),不然linux會給你的讀寫的內容進行緩存。會使數值非常不真實。


例子:

  1. iozone -i 0 -i 2 -Rc -a -q 500k -g 1m -n 100k -b test_result.xls 

參數說明如下:

    • -i 代表測試場景,0 代表運行順序寫測試,1代表運行隨機讀寫測試。還有很多場景可選,具體可見iozone -h說明
    • -R 代表生成Excel報告文件。
    • -c 代表每次讀寫測試完畢都發送關閉連接的命令,主要用於測試NFS系統。
    • -a 代表自動模式。
    • -q 代表最大的記錄大小。
    • -g 代表最大的文件大小。
    • -n 代表最小的文件大小。
    • -b 輸出的生成的Excel報告文件名字。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM