Yarn一点小认识

正文

  打开官网http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/YARN.html,将图片拿过来。

  

  我用的是2.6.5的hadoop,2.x的yarn已经进行了升级。首相映入眼帘的是Resource Manager,我们在start-yarn.sh之后jps也可以看到我们的Resource服务。官网介绍了,Resource Manager是有两个组件组成的。The ResourceManager has two main components: Scheduler and ApplicationsManager.

  rm接收到MR程序也就是我们的Client,回去寻找一个合适得节点去创建MRAppMaster。RM主要就是去管理nodemanager和这些MRAppMaster。从图可以看出来,每个node节点都有一个AppMstr, 而AppMaster的任务就是去创建需要多少个maptask,reducetask;AppMaster需要去解析MR程序,解析完毕后去RM申请资源,那么我们的资源就是图上的Container,Container就是要执行一个Task,一个node中会有多个Container也就是多个任务。

  Scheduler 的任务就是分配资源的应用程序,而ApplicationsManager负责提交任务的给哪个容器,如果失败会去重启服务。如果哪个node节点出现故障则不会影响到整体的节点。而1.x是有JobTracer来创建TaskTracer,所有的解析,监督,资源都是有JobTracer一人来干,如果哪个node出现问题,则会导致整体崩溃。

  简单的理解一下,解释的不是很详尽请多见谅,本来跟大家一起学习的态度,希望大家一起交流,希望大牛多多指点。

          i  want  to do something,i know i can do 

原文地址:https://www.cnblogs.com/hackerxiaoyon/p/7678357.html