spark on yarn运行时会加载的jar包有如下：
- spark-submit中指定的
--jars $SPARK_HOME/jars下的jar包- yarn提供的jar包
- spark-submit通过参数
spark.driver/executor.extraClassPath指定的jar包
spark-submit指定的--jar
当使用如下的脚本提交应用时，会将应用本身的jar以及--jar指定的jar包上传到集群中。
./bin/spark-submit
--class org.apache.spark.examples.SparkPi
--jars a.jar,b.jar,c.jar
http://path/to/examples.jar
--jar是以逗号分隔的jar包列表，不支持直接使用目录。
--jar上传的包会包含在Driver和Executor的classpath中
$SPARK_HOME/jars下的jar包
提交应用时，会将$SPARK_HOME/jars下的所有jar包打成一个zip包，上传到集群中。
“打zip上传”这个操作会在每次提交应用时执行，会有一点的性能损耗。
spark提供了spark.yarn.archive和spark.yarn.jars两个参数。可以将spark运行时需要的jar包缓存在HDFS上，无需每次运行任务的时候都进行分发。
如spark.yarn.archive=hdfs://cdh1/spark-jar.zip，直接从对应路径读取spark运行时需要的包。
yarn提供的jar包
在yarn-site.xml中会配置yarn.application.classpath，包含hadoop相关的一些包
<property>
<name>yarn.application.classpath</name>
<value> $HADOOP_CLIENT_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*
</value>
</property>
这些包也会在应用提交的时候被加载。
通过参数指定的jar包
提供了以下4个相关参数：
spark.executor.extraClassPath显式地将jar包注册到executor的classpath中
spark.driver.extraClassPath与executor配置项同理
spark.driver.userClassPathFirst=true
spark.executor.userClassPathFirst=true
通过extraClassPath指定jar包的方式和之前通过--jars差不多，只不过extraClassPath可以通过指定目录的方式来指定，如/cdh1/jars/*。
还有一点重要的是：extraClassPath可以通过配置userClassPathFirst 来保证用户指定的jar包先被加载，这在解决冲突时是作用很大的。