TestDFSIO基准测试HDFS

TestDFSIO用来测试HDFS的I/O性能,它通过使用MapReduce作业来完成测试作为并行读写文件的便捷方法。
以下命令写了10个文件,每个文件10MB:
hadoop jar /opt/app/hadoop-2.3.0-cdh5.1.0/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.3.0-cdh5.1.0-tests.jar TestDFSIO -write -nrFiles 10 - fileSize 10MB

在运行的最后,结果被写入控制台并同时以追加的形式记录在本地一个文件:

文件默认写在/benchmarks/TestDFSIO/目录下,一个叫io_data的目录中:

使用-read语句运行读取基准测试文件:

hadoop jar /opt/app/hadoop-2.3.0-cdh5.1.0/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.3.0-cdh5.1.0-tests.jar TestDFSIO -read -nrFiles 10 - fileSize 10MB

 

原文地址:https://www.cnblogs.com/li98/p/10911116.html