YARN应用程序开发和设计流程

  从业务的角度看,一个应用需要分两部分进行开发,一个是接入YARN平台,实现3个协议,通过YARN实现对集群资源的访问和利用;另一个是业务功能的实现,这个与YARN本身没有太大关系。下面主要阐述如何将一个应用接入YARN平台。

YARN开发流程包括Client和ApplicationMaster的开发。

         YARN主要由ResourceManager和NodeManager组成,ResourceManager负责资源的管理与分配,NodeManager则负责具体资源的隔离。YARN中,资源使用容器进行封装。用户在YARN上开发应用时,需要实现如下三个模块:

  • Application Client: 应用客户端用于将应用提交到YARN上,使应用运行在YARN上,同时,监控应用的运行状态,控制应用的运行;

  • Application Master: AM负责整个应用的运行控制,包括向YARN注册应用、申请资源、启动容器等,应用的实际工作在容器中进行;

  • Application Worker: 应用的实际工作,并不是所有的应用都需要编写worker。NodeManager启动AM发送过来的容器,容器内部封装了该应用worker运行所需的资源和启动命令。

实现上述模块,涉及如下3个RPC协议:

  • ApplicationClientProtocol: Client-RM之间的协议,主要用于应用的提交;

  • ApplicationMasterProtocol: AM-RM之间的协议,AM通过该协议向RM注册并申请资源;

  • ContainerManagementProtocol: AM-NM之间的协议,AM通过该协议控制NM启动容器。

   第一部分:Client的开发【主要作用是提交(部署)应用和监控应用运行两个部分】

   客户端设计流程(4个步骤)

步骤1:Client通过RPC函数ApplicationClientProtocol# getNewApplication从ResourceManager中获取唯一的Application ID。

步骤2:Client通过RPC函数ApplicationClientProtocol# submitApplication【所有信息都封装在这个参数里】将ApplicationMaster提交到ResourceManager上。
填充一定应用程序的信息:比如ApplicationMaster需要多少资源,ApplicationMaster运行jar包是什么,启动命令是什么等等。

步骤3:RM根据ApplicationSubmissionContext上封装的内容启动AM。
步骤4:客户端通过AM或RM获取应用的运行状态,并控制应用的运行过程。
    

第二部分:ApplicationMaster的编写分两步,每一步分三个步骤:
一、AM与RM交互【主要是来申请资源】
1、ApplicationMaster通过RPC函数ApplicationMasterProtocol# registerApplicationMaster向ResourceManager注册;
【注册的时候会告诉ResourceManager自己的ip端口】
【注册完成后会返回一些信息:比如你这个Applicationmaster最多可以获取多少资源,你的token是什么,】

2、ApplicationMaster通过RPC函数ApplicationMasterProtocol# allocate向ResourceManager申请资源(以Container形式表示);
【allocate是一个RPC函数,ApplicationMaster启动后,已经知道内部有多少个task,每个task需要多少资源,会进行汇总,通过allocate向ResourceManager申请资源】
【allocate申请资源后,会周期性的调用allocate函数,第一:心跳,告诉Resourcemanager我还活着,第二:allocate每次调用后ResourceManager都会返回一些信息给你
比方说:你新申请到一些资源。 】
【你需要不断的探测,有没有得到新的资源】
【同时如果一些task死掉了,ResourceManager也会通过allocate告诉你】
【如果你不断的申请资源,申请到资源之后呢,ApplicationMaster会与Nodemanageer通信来启动对应的task】

3、ApplicationMaster通过RPC函数ApplicationMasterProtocol# finishApplicationMaster告诉ResourceManager应用程序执行完毕,并退出。
【不断的申请资源,不断的启动task,最后所有的task都运行完了】
【这时候Resourcemanager就会把Applicationmaster的信息从内存中抹掉】
二、AM与NM交互 【主要是启动容器、查询容器状态、停止容器,以下的第一和第二步是同时执行的】
1、ApplicationMaster将申请到的资源二次分配给内部的任务,并通过RPC函数ContainerManagementProtocol# startContainer与对应的NodeManager通信以启动Container(【顺便告诉NodeManager,这个Container,,,,,包含任务描述,资源描述等信息)
【比方拿到了1个cpu,1G内存,这里面有10个任务,到底分配给哪个任务呢,有一定的调度策略,这个也要由你实现,比方设计成随便分配给某个任务,或者具有本地性的任务】

2、ApplicationMaster可通过RPC函数ContainerManagementProtocol#g etContainerStatus向NodeManager询问Container运行状态,一旦发现某个Container运行失败【是有Applicationmaster发现,而不是Resourcemanager发现】,ApplicationMaster
可尝试重新为对应的任务申请资源

3、一旦一个Container运行完成后,ApplicationMaster可以通过RPC函数ContainerManagementProtocol# stopContainer释放Container
假设client和AppMaster已经开发完毕:
第一步 client内部会将依赖的jar包传送到hdfs
第二步 将作业提交到ResourceManager
第三步:ResourceManager收到作业后启动你所写的ApplicationMaster,由你的main函数来执行,通信Resourcemanager申请资源,申请到资源后再跟nodemanager通信来启动task。

  总得来说,YARN是一个资源管理平台,并不涉及业务逻辑,具体的业务逻辑需要用户自己去实现。YARN的核心作用就是分配资源、保证资源隔离。

原文地址:https://www.cnblogs.com/xubiao/p/5689595.html