Spark

一、spark日志级别设置

　1、spark脚本日志输出级别设置　　　

import org.apache.log4j.{ Level, Logger }

Logger.getLogger("org").setLevel(Level.WARN)

Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.WARN)

spark.sparkContext.setLogLevel("WARN")

  详细信息，请参考http://logging.apache.org/log4j

2、spark应用·日志级别设置

方法二：添加 log4j.properties 到 resource

　　

注释： Spark log4j 日志配置详解  https://blog.csdn.net/ZMC921/article/details/80238392