Master原理

1、主备切换机制原理剖析与源码分析

2、注册机制原理剖析与源码分析

3、状态改变处理机制源码分析

4、资源调度机制源码分析(schedule(),两种资源调度算法)(核心)

一、主备切换机制原理

1、Master主备切换机制:实际上指的就是,在Active Master挂掉之后,切换到Standby Master时, Master会做哪些操作。

2、Master实际上可以配罟两个,Spark原生的standalone模式是支持 Master主备切换,当Active Master节点挂掉的时候,可以将Standby Master切换为Active Master。

3、Spark Master主备切换可以基干两种机制,一种是基于文件系统的,一种是基于ZooKeeper的,基于文件系统的主备切换机制,需要在Active Master挂掉之后,由我们手动去切换到Standby Master上,而基于ZooKeeper的主备切换机制,可以实现自动切换Master。

二、注册机制原理剖析与源码分析

只有在yarn-cluster模式下提交的时候,才会注册Driver,standalone和yarn-client模式都会直接启动Driver, 而不会来不会注册Driver,就更不可能让master调度Driver了

 

Application调度机制:

Application的调度算法有两种:spreadOutApps 和 非spreadOutApps 

原文地址:https://www.cnblogs.com/suwy/p/9513693.html