hadoop全分布式集群搭建(4台虚拟机)

HA高可用搭建框图

YARN mr 2.x

   ResourceManager :只资源管理

  AppMstr 任务调度:询问ResourceManager之后先创建容器container,开辟maptask和reducetask。

  NodeManager:向RM汇报资源信息。

  RM也需要HA(高可用):通过ZooKeeper实现。

  AppMstr:不是常服务。一个job作业对应一个AppMstr。

hadoop集群搭建(四台虚拟机)

  分布式存储:

    NN-1 namenode主结点

    NN-1 namenode备结点

    DN datanode

    ZK zookeeper

    ZKFC 在namenode上监控健康

    JNN journalnode:两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。也使得主节点active、standby状态的切换。

  计算(和存储部分的搭建实际上没什么关系):

    RS resourceManager

    NM nodeManager:管理本datanode的资源,所以要和datanode一一对应。

hadoop启动顺序

  zkServer.sh start  启动zookeeper

  start-dfs.sh 启动namenode、datanode、journalnode、zkfc 

  start-yarn.sh 启动nodeManager

  yarn-daemon.sh start resourcemanager 启动resourceManager

hadoop启动顺序

  yarn-daemon.sh stop resourcemanager 关闭resourceManager

  stop-all.sh

原文地址:https://www.cnblogs.com/fxw-learning/p/12341558.html