1.HDFS简介
HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问的处理超大文件的需求而开发的，可运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集的应用带来了很多便利。
HDFS源于Google在2003年10月发表的GFS（Google File System）论文。它其实就是GFS的一个克隆版本。
2.HDFS的优缺点
优点：
1.高容错性
数据自动保存多个副本。通过增加副本的形式，提高容错性。
某个副本丢失以后，它可以自动恢复，这是由HDFS内部机制实现。
2.适合批处理
它是基于移动计算而不是移动数据。
它会把数据位置暴露给计算框架
3.适合大数据处理
处理数据达到GB、TB、甚至PB级别的数据。
能够处理百万规模以上的文件数量，数量相当大。
能够处理10k节点的规模。
4.流式文件访问
一次写入，多次读取。文件一旦写入不能修改，只能追加。
能保证数据的一致性。
5.可构建在廉价的机器上
它通过多副本机制，提高可靠性。
它提供了容错和恢复机制。比如某个副本丢失，可通过其他副本来恢复。
缺点：
1.低延时数据访问
比如毫秒级的来存储数据，这是不行的。
它适合高吞吐率场景，就是在某一时间内写入大量的数据。但是在低延时的情况下是不行的，比如毫秒级以内读取数据。
2.小文件存储
存储大量小文件（这里的小文件是指小于HDFS系统的Block大小的文件（默认64M））的话，他会占用NameNode大量的内存来存储文件，目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。
小文件的寻道时间会超过读取时间，违反了HDFS的设计目标。
3.并发写入、文件随机修改
一个文件只能有一个写，不允许多个线程同时写。
仅支持数据的追加，不支持文件的随机修改。
3.HDFS存储数据方式
HDFS采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别是HDFS Client、NameNode、DataNode和Secondary NameNode。
1.Client：就是客户端。
文件切分。文件上传HDFS的时候，Client将文件切分称一个一个Block，然后进行存储。
与NameNode交互，获得文件的位置信息。
与DataNode交互，读取或者写入数据。
Client提供一些命令来管理HDFS，比如启动或者关闭HDFS。
Client可以通过命令来访问HDFS。
2.NameNode：就是Master，它是一个管理者。NameNode包含：目录与数据块之间的关系（靠fsimage和fsedits来实现），数据块和节点之间的关系。
管理HDFS的名称空间。
管理数据块（Block）的映射信息。
配置副本策略。
处理客户端读写的请求。
fsimage文件与fsedits文件是Namenode结点上的核心文件。
（1） fsimage - 它是在NameNode启动时对整个文件系统的快照
（2）fsedits- 它是在NameNode启动后，对文件系统的改动序列
NameNode中仅仅存储目录树信息，而关于Block的位置信息则是从各个DataNode上传到NameNode上的。
NameNode的目录树信息就是物理的存储在fsimage这个文件中的，当NameNode启动的时候首先读取fsimage这个文件，将目录树装载到内存中。
fsedits存储的是日志信息，而NameNode在启动后所有对目录结构的增加、删除、修改等操作都会记录到fsedits文件中，并不同步的记录在fsimage中。
当NameNode节点关闭的时候，不会将fsimage和fsedits文件进行合并，这个合并过程实际上是发生在NameNode启动的过程中。也就是说，当NameNode启动的时候，首先装载fsimage文件，然后在应用fsedits文件，最后还会将最新的目录树信息更新到新的fsimage文件中，然后启用新的fsedits文件。
3.DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
存储实际的数据块。
执行数据块的读/写操作。
另外它也会定时的通过心跳向NameNode报告自己的状态（包括存储的文件块的信息）。
4.Secondary NameNode：并非NameNode的备份。
辅助NameNode，分担其工作量。
协助NameNode定期将edits（日志）合并到磁盘的fsimage中，并推送给NameNode。
当edits到了合并的时候（两个时机，默认，
一个是固定的时间，默认3600秒 fs.checkpoint.period = 3600
一个是固定的容量，edits默认只有64m当存满了就会触发 fs.checkpoint.check = 64MB）
触发后SecendNameNode就会将edits数据清空并将内容存入fsimage中。
在紧急情况下，可辅助恢复NameNode。
执行过程：从NameNode上下载元数据信息（fsimage和edits），然后把二者合并，生成新的fsimage，在本地保存，并将其推送到NameNode，同时重置NameNode的fsedits。
（1）首先，它定时到NameNode去获取fsimage（edit logs），并更新到Secondary NameNode自己的fsimage上。
（2）一旦它有了新的fsimage文件，它将其拷贝回NameNode中。
