Mapreduce打印调试输出

Mapreduce打印调试内容:

一、启动JobHistoryServer

mr-jobhistory-daemon.sh start historyserver  
[hadoop@node11 sbin]$ jps
3165 NodeManager
2580 NameNode
2440 QuorumPeerMain
3208 Master
2682 DataNode
3548 HMaster
3045 ResourceManager
2962 DFSZKFailoverController
8038 JobHistoryServer

通过jps查看JobHistoryServer进程存在,启动成功。

在8088端口,查看作业,点击History:

点击logs:

提示:

接下来修改配置

二、修改yarn配置文件 yarn-site.xml

<property>  
  <name>yarn.log-aggregation-enable</name>  
  <value>true</value>   
</property>  

重启hadoop

提示不可用,稍后再试。

之后又报了一个:Failed while trying to construct the redirect url to the log server. Log Server url may not be configured错误。

配置log server url 在yarn-site.xml

设置访问jobhistroy的url

<property>
<name>yarn.log.server.url</name>
<value>http://node11:19888/jobhistory/logs/</value>
</property>

在程序中打印日志,可以通过history查询。

 注意:

由于集群job会分配到不同的节点上运行,点击history的时候,默认会跳到相应节点的地址

如上图,我点击history,就跳转到 http://node13:19888/jobhistory/job/job_1506003477416_0002

需要手动修改主机的名字http://node11:19888/jobhistory/job/job_1506003477416_0002进行查看

红色部分为log4j的日志;

蓝色部分为System.out.println的信息。

原文地址:https://www.cnblogs.com/one--way/p/7572098.html