背景
現有存儲無法滿足發展需要,選擇多個存儲提供商進行比對,最終選擇最佳方案。
分布式存儲簡介
分布式存儲系統一般是由多個服務器、網絡設備和很多存儲介質組成。即使在手動部署測試環境的時候,所涉及的系統架構也會是比較復雜的。
在測試前,需要根據不同的測試類型采用不同的硬件設備。譬如硬盤的規格(SATA盤還是SSD盤),內存規格,以及不同的網絡類型(TCP/IP,FC,RDMA)等。
測試過程
運維:
通過fio和Iometer進行塊文件(4K,4M,512K)分層測試,比對IOPS和MBPS。
fio使用方法:
100%隨機,100%讀, 4K
fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=rand_100read_4k
100%隨機,100%寫, 4K
fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=rand_100write_4k
100%順序,100%讀 ,4K
fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100read_4k
100%順序,100%寫 ,4K
fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100write_4k
100%隨機,70%讀,30%寫 4K
fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=randrw_70read_4k
測試方法:
1.根據公司業務需求,多節點並發至存儲(jmeter),觀察存儲的IOPS、MBPS,CPU等數據信息(運維監控工具),整理數據給存儲提供商進行調優。
2.大小文件的拷貝測試(robecopy命令發至存儲服務器),5G小文件和20G大文件拷貝,觀察存儲的IOPS、MBPS,CPU等數據信息,整理數據給存儲提供商進行調優。
ssd調優:
1.調整網卡大小
2.cpu配置調優
3.配置fs-cache
分布式調優:
1.單機頭多機頭,根據業務需求配置