hadoop生态系统主要架构图汇总

1 hadoop1.0时期架构

clip_image002

2 hadoop2.0时期架构

clip_image004

3 hdfs架构

clip_image006

Active Namenode】:主 Master(只有一个),管理 HDFS 的名称空间,管理数据块映射信息;配置副本策略;处理客户端读写请求

Secondary NameNode】:NameNode 的热备;定期合并 fsimage fsedits,推送给 NameNode;当 Active NameNode 出现故障时,快速切换为新的 Active NameNode

Datanode】:Slave(有多个);存储实际的数据块;执行数据块读 /

Client】:与 NameNode 交互,获取文件位置信息;与 DataNode 交互,读取或者写入数据;管理 HDFS、访问 HDFS

4 MapReduce架构

clip_image008

clip_image010

clip_image012

clip_image013

5 yarn架构

clip_image015

6 hadoop1.0hadoop2.0比较图

clip_image017

参考网址:

http://blog.csdn.net/babyfish13/article/details/52527665

http://www.cnblogs.com/sharpxiajun/p/3151395.html

原文地址:https://www.cnblogs.com/zhangwuji/p/7594725.html