023 Spark Scheduler(调度)

1.官网

  http://spark.apache.org/docs/1.6.1/job-scheduling.html
  http://spark.apache.org/docs/1.6.1/configuration.html#scheduling

  这个图可以多研究一下:

  

2.两种Scheduler调度器

  DAGScheduler
    负责根据DAG划分Stage,在Driver中执行,当RDD的action类型的API被触发的时候执行


  TaskScheduler
    负责Stage的一个调度,当DAGScheduler划分好DAG的stage阶段后,TaskScheduler负责将Stage对应的Task提交到Executors中执行(也是在Driver中进行操作的)

   

  

3.Spark调度模式

  也可以说调度方式。

  FIFO:先进先出(默认)
  FAIR: 公平调度

  

  

原文地址:https://www.cnblogs.com/juncaoit/p/6399366.html