Example: ./bin/spark-submit --[your class] --master yarn --deploy-mode cluster --num-exectors 17 --conf spark.yarn.executor.memoryOverhead=4096 --executor-memory 35G //Amount of memory to use per executor process --conf spark.yarn.driver.memoryOverhead=4096 --driver-memory 35G //Amount of memory to be used for the driver process --executor-cores 5 --driver-cores 5 //number of cores to use for the driver process --conf spark.default.parallelism=170 /path/to/examples.jar
上图所示的作业，直接使用了 Spark 官方的 example 包，所以不需要自己上传 jar 包。
我一般：
spark-submit --master yarn-client --driver-memory 10g –-num-executors 25 --executor-memory 6g --executor-cores 4 --conf spark.yarn.driver.memoryOverhead=4096 path_walk_learning.py >log202102100938.txt
--class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 4g --num-executors 2 --executor-memory 2g --executor-cores 2 /opt/apps/spark-1.6.0-bin-hadoop2.6/lib/spark-examples*.jar 10参数说明如下所示：
| 参数 | 参考值 | 说明 |
|---|---|---|
| class | org.apache.spark.examples.SparkPi | 作业的主类。 |
| master | yarn | 因为 E-MapReduce 使用 yarn 的模式，所以这里只能是 yarn 模式。 |
| yarn-client | 等同于 –-master yarn —deploy-mode client， 此时不需要指定deploy-mode。 | |
| yarn-cluster | 等同于 –-master yarn —deploy-mode cluster， 此时不需要指定deploy-mode。 | |
| deploy-mode | client | client 模式表示作业的 AM 会放在 Master 节点上运行。要注意的是，如果设置这个参数，那么需要同时指定上面 master 为 yarn。 |
| cluster | cluster 模式表示 AM 会随机的在 worker 节点中的任意一台上启动运行。要注意的是，如果设置这个参数，那么需要同时指定上面 master 为yarn。 | |
| driver-memory | 4g | driver 使用的内存，不可超过单机的总内存。 |
| num-executors | 2 | 创建多少个 executor。 |
| executor-memory | 2g | 各个 executor 使用的最大内存，不可超过单机的最大可使用内存。 |
| executor-cores | 2 | 各个 executor 使用的并发线程数目，即每个 executor 最大可并发执行的 Task 数目。 |
资源计算
- yarn-client 模式的资源计算
节点 资源类型 资源量（结果使用上面的例子计算得到） master core 1 mem driver-memroy = 4G worker core num-executors * executor-cores = 4 mem num-executors * executor-memory = 4G - 作业主程序（Driver 程序）会在 master 节点上执行。按照作业配置将分配 4G（由 —driver-memroy 指定）的内存给它（当然实际上可能没有用到）。
- 会在 worker 节点上起 2 个（由 —num-executors 指定）executor，每一个 executor 最大能分配 2G（由 —executor-memory 指定）的内存，并最大支持 2 个（由—executor-cores 指定）task 的并发执行。
- yarn-cluster 模式的资源计算
节点 资源类型 资源量（结果使用上面的例子计算得到） master - 一个很小的 client 程序，负责同步 job 信息，占用很小。 worker core num-executors * executor-cores+spark.driver.cores = 5 mem num-executors * executor-memory + driver-memroy = 8g 说明 这里的 spark.driver.cores 默认是 1，也可以设置为更多。
资源使用的优化
- yarn-client 模式
若您有了一个大作业，使用 yarn-client 模式，想要多用一些这个集群的资源，请参见如下配置：
--master yarn-client --driver-memory 5g –-num-executors 20 --executor-memory 4g --executor-cores 4注意- Spark 在分配内存时，会在用户设定的内存值上溢出 375M 或 7%（取大值）。
- Yarn 分配 container 内存时，遵循向上取整的原则，这里也就是需要满足 1G 的整数倍。
按照上述的资源计算公式，
-
master 的资源量为：
- core：1
- mem：6G （5G + 375M 向上取整为 6G）
-
workers 的资源量为：
- core: 20*4 = 80
- mem：20*5G （4G + 375M 向上取整为 5G）= 100G
可以看到总的资源没有超过集群的总资源，那么遵循这个原则，您还可以有很多种配置，例如：--master yarn-client --driver-memory 5g --num-executors 40 --executor-memory 1g --executor-cores 2--master yarn-client --driver-memory 5g --num-executors 15 --executor-memory 4g --executor-cores 4--master yarn-client --driver-memory 5g --num-executors 10 --executor-memory 9g --executor-cores 6原则上，按照上述的公式计算出来的需要资源不超过集群的最大资源量就可以。但在实际场景中，因为系统、hdfs 以及 E-MapReduce 的服务会需要使用 core 和 mem 资源，如果把 core 和 mem 都占用完了，反而会导致性能的下降，甚至无法运行。
executor-cores 数一般也都会被设置成和集群的可使用核一致，因为如果设置的太多，CPU 会频繁切换，性能并不会提高。
- yarn-cluster 模式
当使用 yarn-cluster 模式后，Driver 程序会被放到 worker 节点上。会占用到 worker 资源池里的资源，这时若想要多用一些这个集群的资源，请参见如下配置。
--master yarn-cluster --driver-memory 5g --num-executors 15 --executor-memory 4g --executor-cores 4
配置建议
-
如果将内存设置的很大，要注意 GC 所产生的消耗。一般我们会推荐每一个 executor 的内存 <= 64G。
-
如果是进行 HDFS 读写的作业，建议是每个 executor 中使用 <= 5个并发来读写。
-
如果是进行 OSS 读写的作业，我们建议是将 executor 分布在不同的 ECS 上，这样可以将每一个 ECS 的带宽都用上。例如，有 10 台 ECS，那么就可以配置 num-executors=10，并设置合理的内存和并发。
-
如果作业中使用了非线程安全的代码，那么在设置 executor-cores 的时候需要注意多并发是否会造成作业的不正常。如果会，那么推荐就设置 executor-cores=1。