hadoop2.8.0重启datanode和动态加入datanode

一、对于重启datanode.

  适用于子节点单独挂掉然后重启的情况,或者增加子节点的情况。 设置好相应的配置后:

sbin/hadoop-daemon.sh start datanode 
sbin/yarn-daemon.sh start nodemanager 

即可。 执行jps应该可以看到类似:

6847 DataNode 
7574 NodeManager 
7780 Jps 

 二、动态加入datanode节点

参考:http://www.cnblogs.com/ggzone/p/5094497.html

我的步骤:

1.从其中的一个slave节点克隆了一个节点(使用VM虚拟机)

2.克隆之后运行克隆之后的datanode节点,修改hostname,IP

3.修改各个机器的/etc/hosts文件  加入需要增加的IP和hostname

4.设置ssh登录,由于我是克隆的,故无需设置其它机器登录到本机,只需设置本机免密码登录到其它机器即可,参考ssh设置http://www.cnblogs.com/kxxx/p/7050159.html

5.修改主节点的slave文件,添加新增节点的ip信息(集群重启时使用)

6.在datanode节点运行sbin/hadoop-daemon.sh start datanode。启动datanode

7.在datanode节点运行sbin/yarn-daemon.sh start nodemanager。启动nodemanager

8.这是就可以在namenode节点查看datanode节点是否运行    bin/hdfs dfsadmin -report查看集群情况

最后还需要对hdfs负载设置均衡,因为默认的数据传输带宽比较低,可以设置为64M,即hdfs dfsadmin -setBalancerBandWidth 67108864即可

•默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%

•然后启动Balancer,sbin/start-balancer.sh -threshold 5,等待集群自均衡完成即可

原文地址:https://www.cnblogs.com/kxxx/p/7088637.html