FIO是測試IOPS的非常好的工具，用來對硬件進行壓力測試和驗證，支持13種不同的I/O引擎， 包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。
fio 官網地址：http://freshmeat.net/projects/fio/
一，FIO安裝
wget http://brick.kernel.dk/snaps/fio-2.0.7.tar.gz
yum install libaio-devel
tar -zxvf fio-2.0.7.tar.gz
cd fio-2.0.7
make
make install
二，隨機讀測試：
隨機讀：
fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=200G
-numjobs=10 -runtime=1000 -group_reporting -name=mytest
說明：
filename=/dev/sdb1 測試文件名稱，通常選擇需要測試的盤的data目錄。
direct=1 測試過程繞過機器自帶的buffer。使測試結果更真實。
rw=randwrite 測試隨機寫的I/O
rw=randrw 測試隨機寫和讀的I/O
bs=16k 單次io的塊文件大小為16k
bsrange=512-2048 同上，提定數據塊的大小范圍
size=5g 本次的測試文件大小為5g，以每次4k的io進行測試。
numjobs=30 本次的測試線程為30.
runtime=1000 測試時間為1000秒，如果不寫則一直將5g文件分4k每次寫完為止。
ioengine=psync io引擎使用pync方式
rwmixwrite=30 在混合讀寫的模式下，寫占30%
group_reporting 關於顯示結果的，匯總每個進程的信息。
此外
lockmem=1g 只使用1g內存進行測試。
zero_buffers 用0初始化系統buffer。
nrfiles=8 每個進程生成文件的數量。
順序讀：
fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest
隨機寫：
fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest
順序寫：
fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest
混合隨機讀寫：
fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest -ioscheduler=noop
三，實際測試范例：
[root@localhost ~]# fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30
-runtime=100 -group_reporting -name=mytest1
mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1
...
mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1
fio 2.0.7
Starting 30 threads
Jobs: 1 (f=1): [________________m_____________] [3.5% done] [6935K/3116K /s] [423 /190 iops] [eta 48m:20s] s]
mytest1: (groupid=0, jobs=30): err= 0: pid=23802
read : io=1853.4MB, bw=18967KB/s, iops=1185 , runt=100058msec
clat (usec): min=60 , max=871116 , avg=25227.91, stdev=31653.46
lat (usec): min=60 , max=871117 , avg=25228.08, stdev=31653.46
clat percentiles (msec):
| 1.00th=[ 3], 5.00th=[ 5], 10.00th=[ 6], 20.00th=[ 8],
| 30.00th=[ 10], 40.00th=[ 12], 50.00th=[ 15], 60.00th=[ 19],
| 70.00th=[ 26], 80.00th=[ 37], 90.00th=[ 57], 95.00th=[ 79],
| 99.00th=[ 151], 99.50th=[ 202], 99.90th=[ 338], 99.95th=[ 383],
| 99.99th=[ 523]
bw (KB/s) : min= 26, max= 1944, per=3.36%, avg=636.84, stdev=189.15
write: io=803600KB, bw=8031.4KB/s, iops=501 , runt=100058msec
clat (usec): min=52 , max=9302 , avg=146.25, stdev=299.17
lat (usec): min=52 , max=9303 , avg=147.19, stdev=299.17
clat percentiles (usec):
| 1.00th=[ 62], 5.00th=[ 65], 10.00th=[ 68], 20.00th=[ 74],
| 30.00th=[ 84], 40.00th=[ 87], 50.00th=[ 89], 60.00th=[ 90],
| 70.00th=[ 92], 80.00th=[ 97], 90.00th=[ 120], 95.00th=[ 370],
| 99.00th=[ 1688], 99.50th=[ 2128], 99.90th=[ 3088], 99.95th=[ 3696],
| 99.99th=[ 5216]
bw (KB/s) : min= 20, max= 1117, per=3.37%, avg=270.27, stdev=133.27
lat (usec) : 100=24.32%, 250=3.83%, 500=0.33%, 750=0.28%, 1000=0.27%
lat (msec) : 2=0.64%, 4=3.08%, 10=20.67%, 20=19.90%, 50=17.91%
lat (msec) : 100=6.87%, 250=1.70%, 500=0.19%, 750=0.01%, 1000=0.01%
cpu : usr=1.70%, sys=2.41%, ctx=5237835, majf=0, minf=6344162
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued : total=r=118612/w=50225/d=0, short=r=0/w=0/d=0
Run status group 0 (all jobs):
READ: io=1853.4MB, aggrb=18966KB/s, minb=18966KB/s, maxb=18966KB/s, mint=100058msec, maxt=100058msec
WRITE: io=803600KB, aggrb=8031KB/s, minb=8031KB/s, maxb=8031KB/s, mint=100058msec, maxt=100058msec
Disk stats (read/write):
sdb: ios=118610/50224, merge=0/0, ticks=2991317/6860, in_queue=2998169, util=99.77%
主要查看以上紅色字體部分的iops(read/write)
**磁盤陣列吞吐量與IOPS兩大瓶頸分析**
1、吞吐量
吞吐量主要取決於陣列的構架，光纖通道的大小(現在陣列一般都是光纖陣列，至於SCSI這樣的SSA陣列，我們不討論)以及硬盤的個數。陣列的構架與每個陣列不同而不同，他們也都存在內部帶寬(類似於pc的系統總線)，不過一般情況下，內部帶寬都設計的很充足，不是瓶頸的所在。
光纖通道的影響還是比較大的，如數據倉庫環境中，對數據的流量要求很大，而一塊2Gb的光纖卡，所77能支撐的最大流量應當是2Gb/8(小B)=250MB/s(大B)的實際流量，當4塊光纖卡才能達到1GB/s的實際流量，所以數據倉庫環境可以考慮換4Gb的光纖卡。
最后說一下硬盤的限制，這里是最重要的，當前面的瓶頸不再存在的時候，就要看硬盤的個數了，我下面列一下不同的硬盤所能支撐的流量大小：
10 K rpm 15 K rpm ATA
——— ——— ———
10M/s 13M/s 8M/s
那么，假定一個陣列有120塊15K rpm的光纖硬盤，那么硬盤上最大的可以支撐的流量為120*13=1560MB/s，如果是2Gb的光纖卡，可能需要6塊才能夠，而4Gb的光纖卡，3-4塊就夠了。
2、IOPS
決定IOPS的主要取決與陣列的算法，cache命中率，以及磁盤個數。陣列的算法因為不同的陣列不同而不同，如我們最近遇到在hds usp上面，可能因為ldev(lun)存在隊列或者資源限制，而單個ldev的iops就上不去，所以，在使用這個存儲之前，有必要了解這個存儲的一些算法規則與限制。
cache的命中率取決於數據的分布，cache size的大小，數據訪問的規則，以及cache的算法，如果完整的討論下來，這里將變得很復雜，可以有一天好討論了。我這里只強調一個cache的命中率，如果一個陣列，讀cache的命中率越高越好，一般表示它可以支持更多的IOPS，為什么這么說呢?這個就與我們下面要討論的硬盤IOPS有關系了。
硬盤的限制，每個物理硬盤能處理的IOPS是有限制的，如
10 K rpm 15 K rpm ATA
——— ——— ———
100 150 50
同樣，如果一個陣列有120塊15K rpm的光纖硬盤，那么，它能撐的最大IOPS為120*150=18000，這個為硬件限制的理論值，如果超過這個值，硬盤的響應可能會變的非常緩慢而不能正常提供業務。www.jbxue.com
在raid5與raid10上，讀iops沒有差別，但是，相同的業務寫iops，最終落在磁盤上的iops是有差別的，而我們評估的卻正是磁盤的IOPS，如果達到了磁盤的限制，性能肯定是上不去了。
那我們假定一個case，業務的iops是10000，讀cache命中率是30%，讀iops為60%，寫iops為40%，磁盤個數為120，那么分別計算在raid5與raid10的情況下，每個磁盤的iops為多少。
raid5:
單塊盤的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120
= (4200 + 16000)/120
= 168
這里的10000*(1-0.3)*0.6表示是讀的iops，比例是0.6，除掉cache命中，實際只有4200個iops
而4 * (10000*0.4) 表示寫的iops，因為每一個寫，在raid5中，實際發生了4個io，所以寫的iops為16000個
為了考慮raid5在寫操作的時候，那2個讀操作也可能發生命中，所以更精確的計算為：
單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120
= (4200 + 5600 + 8000)/120
= 148
計算出來單個盤的iops為148個，基本達到磁盤極限
raid10
單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120
= (4200 + 8000)/120
= 102
可以看到，因為raid10對於一個寫操作，只發生2次io，所以，同樣的壓力，同樣的磁盤，每個盤的iops只有102個，還遠遠低於磁盤的極限iops。
在一個實際的case中，一個恢復壓力很大的standby(這里主要是寫，而且是小io的寫)，采用了raid5的方案，發現性能很差，通過分析，每個磁盤的iops在高峰時期，快達到200了，導致響應速度巨慢無比。后來改造成raid10，就避免了這個性能問題，每個磁盤的iops降到100左右。