spark学习12(spark架构原理)

spark采用的是主从式的架构,主节点叫master,从节点是worker

Driver

我们编写的spark就在Driver上,由driver进程执行。
Driver是spark集群的节点之一,或你提交spark程序的机器

Master

master是集群的资源管理者和调度者,类似yarn里面的ResourceManger,还负责监控整个集群的监控状况

Worker

用自己的内存缓存RDD数据
使用内存对partition的数据进行计算

Executor

Task

默认情况下是一个block文件块是一个RDD的分区,一个分区就是一个task任务

spark standalone模式

1)会启动driver,会做一些初始化的工作,在初始化的这个过程中,会发送请求给master,请求注册,这样master就知道有活要干了

2)master接受到请求以后,master发送请求给worker,请求资源调度,说白了请求资源调度就是需要在worker节点上面,启动executor。具体启动几个executor,是在提交代码的时候制定好的

3)executor启动好后会向driver进行反向注册,这样driver就知道哪些executor为该任务进行服务

4)driver注册了executor以后,这个才开始执行spark程序,首先创建RDD,后面就是对RDD进行算子操作,根据对这些RDD的定义,会形成一堆Task任务,比如进行flatMap,map等操作。将task任务发送给executor,executor会接收task任务,就在executor启动task

5)task任务会对RDD里面的partition进行算子操作

原文地址:https://www.cnblogs.com/wujiadong2014/p/6389074.html