hadooop2.6 job pending research

https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/ClusterSetup.html

我使用的是已经运行在生产环境中的一套配置文件,去除了一部分我用不到的信息。

但遇到的一些问题如下,

1.我的虚拟机使用双网卡,一个内网互访,一个是访问互联网,使用zookeeper,的时候一直报连接被拒绝的错误,后来解决。

2.使用zookeeper3.5.1 beta版,启动的时候,发现zookeeper admin server 启动占用了8080端口,造成nodemanager启动失败,

随后配置zoo.cfg改动:admin.enableServer=false,当然,也可以改动端口号。
3.hadoop job 提交之后一直pending

首先是自己查看nodemanager的日志,没有发现异常信息,没有报错。

但是观察8088 job的信息,是因为显示无法获取所需的资源,如内存和cpu,

我的虚拟机配置比较低,nn 2g,dn 1g .

找到了问题所在,直接删除了配置中相关的信息。

问题解决。

原文地址:https://www.cnblogs.com/huaxiaoyao/p/4840392.html