Hadoop笔记 -- 优化

通过修改配置文件

dfs.datanode.max.xcievers

Hadoop的Datanode有一个用于设置同时处理文件的上限个数的参数，这个参数叫xcievers（Hadoop的作者把这个单词拼错了）。在启动之前，先确认有没有配置Hadoop的conf目录下的hdfs-site.xml中的xceivers参数，默认值是256，这对于一个任务很多的集群来说太小了，至少是4096，一个大型集群通常比这个值还大得多：

<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>

对于HDFS，如果修改此项配置，要记得重启。如果没有这一项配置，可能会遇到奇怪的失败。虽然会在Datanode的日志中看到xcievers exceeded，但是运行起来会报missing blocks错误，例如：

java.io.IOException:xceiverCount 258 exceeds the limit of con current xcievers 256