IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出

  在使用Intellij IDEA,local模式下运行Spark程序时,会在Run窗口打印出很多INFO信息,辅助信息太多可能会将有用的信息掩盖掉。如下所示
  这里写图片描述

  要解决这个问题,主要是要正确设置好log4j文件,本文主要分析如何在local模式下,将Spark的INFO信息隐藏,不影响程序中的结果输出。

1、将spark根目录下的log4j.properties文件复制到Intellij IDEA的src路径下
  此时项目结构如下图所示:
  这里写图片描述

2、修改log4j.properties文件的内容
  将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console,只显示ERROR级别的日志。

  再次运行该代码,可以看到INFO信息已经消失
  这里写图片描述

原文地址:https://www.cnblogs.com/wuyida/p/6300223.html