sparkContext的初始化过程

SparkContext 初始化的过程主要的核心:
1) 依据 SparkContext 的构造方法中的参数 SparkConf 创建一个
SparkEnv
2) 初始化,Spark UI,以便 Spark Application 在运行是,方便用户
监控,默认端口为 4040
实时在线 授课 , 专业 课程 辅导 http://www.cloudyhadoop.com
3) 创建和启动 Scheduler
a) 创建 TaskScheduler、SchedulerBackend
b) 创建 DAGScheduler
c) 启动 TaskScheduler、DAGScheduler
4) 启动 Executors

原文地址:https://www.cnblogs.com/gyadmin/p/8300932.html