TestDFSIO基准测试HDFS


TestDFSIO用来测试HDFS的I/O性能,它通过使用MapReduce作业来完成测试作为并行读写文件的便捷方法。
以下命令写了10个文件,每个文件10MB:
hadoop jar /opt/app/hadoop-2.3.0-cdh5.1.0/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.3.0-cdh5.1.0-tests.jar TestDFSIO -write -nrFiles 10 - fileSize 10MB

在运行的最后,结果被写入控制台并同时以追加的形式记录在本地一个文件:

文件默认写在/benchmarks/TestDFSIO/目录下,一个叫io_data的目录中:

使用-read语句运行读取基准测试文件:

hadoop jar /opt/app/hadoop-2.3.0-cdh5.1.0/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.3.0-cdh5.1.0-tests.jar TestDFSIO -read -nrFiles 10 - fileSize 10MB

 

 

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM