hadoop日志【3】---进度不动的reduce过程

集群的slave由于意外原因在运行过程中突然关机过两台

结果这两台存放hadoop日志的路径权限竟然全部变成root的,hadoop无法保存日志,异常不断

修改了文件权限,然后重新跑任务

结果跑到20%的时候又不动了

根据经验,要吗是slave中的防火墙把hdfs的端口给堵了造成文件无法在slave间复制,要吗就是又是日志保存出问题,导致无法正常生成task

查看了一下负责reduce的机器日志,报的全是

No route to host
的错误,看了一下,果然是防火墙堵端口了

不知道什么时间防火墙又全部打开了

关掉防火墙

重试job

ok了

在比较早的时间还犯过一个错误,host文件里的ip写错了,结果发现reduce过程奇慢无比,也是停止在一个固定百分比不动了。


原文地址:https://www.cnblogs.com/AI001/p/3368887.html