No node available for block: blk

刚才利用hadoop和mahout运行kmean是算法,一开始利用了10个节点,一个master,9个slave,运行了7分钟,我为了看速度的变化,就改用伪分布的形式,但是一开始运行就报错了:

17/04/08 11:43:32 INFO hdfs.DFSClient: No node available for block: blk_5391189133848637450_1019 file=/user/root/testdata/synthetic_control.data.txt

 意思就是针对文件块block,没有可用的节点,我一开始以为是节点没=没有启动,但是后来看了一下webUI,live nodes为1,说明datanode已经启动了啊,百度才知道是hdfs-site.xml出问题了:需要加上以下配置:

    <property>
                <name>dfs.datanode.max.xcievers</name>
            <value>4096</value>
                <dedication> Datanode 有一个同时处理文件的上限,至少要有4096</dedication>
        </property>

不配置这个property的话,那么默认大小是256,显然有点小了;

原文地址:https://www.cnblogs.com/numen-fan/p/6681442.html