spark组件笔记

SparkContext 中最重要的3个组建:

1 TaskScheduler (包含两个内容,TaskSchedulerImpl和SparkDeploySchedulerBackend)
-用于向Master发起请求,master通过worker节点向excuter注册,并且excuter会向SparkDeploySchedulerBackend反注册,反注册目的是为了DAGScheduler形成taskset会向excutor的task提交任务!

2 DAGScheduler
-在每执行一个action的时候,会创建一个job,而且会把job切成多个stage,并行执行

3 SparkUI
-基于jetty用于展示当前spark应用的调度情况

原文地址:https://www.cnblogs.com/zzq-include/p/8676240.html