sparkContext初始化机制

sparkContext初始化机制

要点:

1、TaskSchedular如何注册,application、Excutor 如何反向注册

TaskScheduleImpl 即 TaskSchedular, SparkDestroySchedularBackend底层接收TaskScheduleImpl 的控制,实际上负责Master的注册、Excutor的反注册,task发送到Excutor的个操作, TaskScheduleImpl 的底层实际上主要基于 SparkDestroySchedularBackend 来操作

2、DAGSchedular

DAGSchedular 底层主要基于组件DAGSchedularEventProcessActor  进行通信(线程)

3、SparkUI

4040端口,显示application运行状态,启动一个 jetty 服务器,来提供web 服务,显示网页

sparkContext初始化机制如下图所示

原文地址:https://www.cnblogs.com/suwy/p/9512455.html