yarn的基本组成和工作流程

yarn是负责资源管理的,协调各个应用程序的资源使用情况

一、基本组成

yarn主要由以下几个部分组成

1、resourcemanager

  主要负责资源的调度和应用程序的管理

  (1)调度器

  调度器是将系统中的资源分配给各个正在运行的应用程序。

  (2)应用程序管理

  负责管理所有applicationmaster

2、nodemanager

  定时告诉resourceManger,node节点的资源使用情况;任务的启动与停止

3、applicationmaster

  向resourceManager请求资源,监听任务的执行进度

4、container

  资源的抽象(包括cpu,内存等信息),当applicationMaster向resourceManager请求资源的时候,就是以Container抽象资源的形式返回,

限制资源的使用情况

二、工作流程

1、client想yarn提交一个应用程序

2、resourceManager为改应用程序分配一个Container,与对应的nodeManager进行通信, 要求它在此container中启动appmaster

3、appmaster向rm注册,这样用户可以直接通过rm查看应用程序的运行状态

4、appmaster为各个任务想rm请求资源

5、请求到资源后与nodeManager进行通信,要求启动任务

6、启动任务

7、各个任务向appmaster报告状态和进度

8、appmaster向rm请求注销自己

原文地址:https://www.cnblogs.com/zhengqun/p/4920829.html