Yarn ------->资源调度框架

  • Yarn产生的背景

  • Yarn的架构

  • Yarn的执行流程图

  • Yarn的环境搭建

1.  Yarn产生背景:

Yarn脱胎于MRv1(MapRedce1.x),目的是为了解决MRv1的缺陷

  • MRv1的缺陷:
  • 可靠性差
  • 扩展性差
  • 资源利用率低
  • 无法支持异构的计算框架

2.  Yarn的架构

Yarn的全称(Yet Another Resource Negotiator)另一种资源协调者,它是一种统一资源管理和调度平台的实现,类似于本地PC的操作系统

3.  Yarn的执行流程图:

   ResourceManager介绍:

RM是集中所有资源的管理者,复杂集群中所有资源管理和调度。他会定期向各个NodeManager的资源汇报信息,并进行汇总,分配给各个二级调度器(ApplicationMaster),RM只进行一次资源分配大大减轻RM负荷,使得其扩展性大大增强

  NodeManager介绍:

NM是Yarn集群中各个节点的代理,他管理Yarn及群众单个计算节点,负责保存与RM的同步,可以用来接收RM和AM的命令来启动和销毁容器。NM的组件按照功能主要分为:与RM进行交互,容器管理,容器操作,Web界面,删除服务,资源本地话,安全等。

  ApplicationManager介绍:

ApplicationManager是Yarn架构中比较特殊的组件,生命周期随着应用的开始而开始,结束而结束,AppManager是协调及群众应用程序的进程,负责向RM申请资源,并且应用中不断件数这些Container的状态

4  Yarn的环境搭配:

  • 在hadoop的安装目录/etc/hadoop/下修改配置文件:yarn-site.xml

  •  在hadoop的安装目录/etc/hadoop/下修改配置文件:mapred-site.xml

  •  启动RM进程以及NM进程:sbin/./start.all.sh
  • 验证进程:jps

  •  使用浏览器访问:主机的ip地址:8088
  • 提交任务到Yarn上执行
  1. 在/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
  2. 使用hadoop jar 命令提交mapreduce任务(最后一个jar包)

   最后出现4.0000000000表示成功。

原文地址:https://www.cnblogs.com/wyk1/p/13965178.html