hadoop组成

1、HDFS(数据存储)

①、NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数,文件权限),以及每个文件的块列表和块所在的DataNode等。

②、DataNode:在本地文件系统存储文件块数据,以及块数据的校验和。

③、Secondary NameNode:用来监控HDFS状态的辅助后台查询,每隔一段时间获取HDFS元素的快照。

2、YARN(资源调度)

3、MapReduce(计算)

MapReduce将计算过程分为两个阶段:Map和Reduce,如图所示。

①、Map阶段并行处理输入数据。

②、Reduce阶段对Map结果进行汇总。

4、Common(辅助工具)

大数据技术生态体系

原文地址:https://www.cnblogs.com/cq-yangzhou/p/10517151.html