Hadoop4.2HDFS测试报告之六

测试结论

第一组数据作表格作图:

 

第二组数据作表格作图:

根据以上图分析得出以下结论:

1、 本地存储的读写速率基本保持23M左右,说明本地存储比较稳定。

2、 HDFS存储两个数据节点的读写速率性能比较好,当文件大小为1G时与本地存储性能接近,说明具备高可用性,测试过程中停掉一个节点,正常读写文件,说明也具备高稳定性。

3、 HDFS存储两个数据节点的读写速率比HDFS存储单个数据节点的读写速率提升1.6倍,说明具备高性能和高扩展性。

4、 HDFS存储在文件大于100M时读写速率15M/s以上,文件大于100M满足预期目标。

建议

HDFS存储测试建议和问题:

1、 hdfs存储对小文件支持的不好。

2、 hdfs客户端使用CPU过高。

3、 由于第二个缺点,实现多个客户端并发相当困难,待问题解决后续补测。

4、   测试过程中dd命令中采用/dev/urandom设备文件产生测试文件,避免磁盘缓存导致结果不准。

 第2个缺点需要后续跟踪,找出问题的原因,导致系统真正实施和运行的性能带来影响。

原文地址:https://www.cnblogs.com/jinyz/p/3154189.html