HDFS学习总结之架构

一、hdfs介绍

官网说明

Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.（提供对应用程序数据的高吞吐量访问的分布式文件系统。）

优点：数据冗余，硬件容错

          适合存储大文件

          处理流式的数据访问

          可构建在廉价的机器上

缺点：低延迟的数据访问

          不适合小文件的存错

二、hdfs架构（官网架构图）

架构说明： 1、采用主从架构（master/slave architecture）：master:NameNode(NN) slave:DataNode(DN)

                   2、文件存储会被拆分多个Block存储在DN上.(默认64M，CDH默认128M)

                   3、NN的作用:  1）负责客户端请求响应

                                        2）负责元数据（文件的名称，副本系数，Block存放的DN等）的管理

                    4、DN的作用: 1)存储用户文件对应的数据块(Block)

                                        2)定期向NN发送心跳信息，汇报本身及其所有的block信息（健康状况）；