Hadoop之HDFS
- 一、HDFS概述
- 二、HDFS组成架构
- 三、HDFS的Shell操作
- 3.1 基本语法
- 3.2常用命令
- 启动Hadoop集群
- -ls: 显示目录信息
- -mkdir：在HDFS上创建目录
- -moveFromLocal：从本地剪切粘贴到HDFS
- -appendToFile：追加一个文件到已经存在的文件末尾
- -cat：显示文件内容
- -chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
- -copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
- -copyToLocal：从HDFS拷贝到本地
- -cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
- -mv：在HDFS目录中移动文件
- -get：等同于copyToLocal，就是从HDFS下载文件到本地
- -getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,...
- -put：等同于copyFromLocal
- -tail：显示一个文件的末尾
- -du统计文件夹的大小信息
- -setrep：设置HDFS中文件的副本数量
- 四、HDFS的数据流
- 五、NameNode和SecondaryNameNode
- 5.1 NN和2NN工作机制
- 5.2 CheckPoint时间设置
- 5.3 NameNode故障处理
- 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；
- 方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。
- 5.4 NameNode多目录配置
- 六、DataNode
一、HDFS概述
HDFS(Hdoop D File System)，是一个文件系统，用于存储文件，通过目录树来定位文件，并且是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各有各自的角色。
1.1 HDFS使用场景
适合一次写入，多次读出，且不支持文件的修改。
适合做数据分析，不适合做网盘应用。
1.2 HDFS优缺点
1.2.1 优点
（1）高容错性
数据自动保存多个副本，通过增加副本的方式，提高容错性。
某一个副本丢失以后，它可以自动恢复。
（2）适合处理大数据
数据规模：能够达到GB、TB甚至以上。
文件规模：能够处理百万规模以上的文件数量。
（3）可构建在廉价机器上，通过多副本机制，提高可靠性。
1.2.2 缺点
（1）不适合低延时数据访问，比如毫秒级的存储数据。
（2）无法高效的对大量小文件进行存储。
（1）存储大量小文件的话，会占用NameNode大量的内存来存储文件目录和块信息。然而，NameNode的内存是有限的。
（2）小文件存储的寻址时间会超过读取时间。
（3）不支持并发写入、文件随机修改。
（1）一个文件只能有一个写，不允许多个线程同时写。
（2）仅支持数据append（追加），不支持文件的随机修改。
1.3 HDFS的辅助功能
HDFS作为一个文件系统。有两个最主要的功能：上传和下载。而为了保障这两个功能的完美和高效实现，HDFS提供了很多的辅助功能
1.3.1 心跳机制
- 1、 Hadoop 是 Master/Slave 结构，Master 中有 NameNode 和 ResourceManager，Slave 中有 Datanode 和 NodeManager
- 2、 Master 启动的时候会启动一个 IPC（Inter-Process Comunication，进程间通信）server 服务，等待 slave 的链接
- 3、 Slave 启动时，会主动链接 master 的 ipc server 服务，并且每隔 3 秒链接一次 master，这个间隔时间是可以调整的，参数为 dfs.heartbeat.interval，这个每隔一段时间去连接一次的机制，我们形象的称为心跳。Slave 通过心跳汇报自己的信息给 master，master 也通 过心跳给 slave 下达命令，
- 4、 NameNode 通过心跳得知 Datanode 的状态 ，ResourceManager 通过心跳得知 NodeManager的状态
- 5、 如果 master 长时间都没有收到 slave 的心跳，就认为该 slave 挂掉了。
最终NameNode判断一个DataNode死亡的时间计算公式：
timeout = 10 * 心跳间隔时间 + 2 * 检查一次消耗的时间
心跳间隔时间：dfs.heartbeat.interval 心跳时间：3s，检查一次消耗的时间：heartbeat.recheck.interval checktime : 5min，最终宕机之后630s后显示死亡状态。
1.3.2 安全模式
- 1、HDFS的启动和关闭都是先启动NameNode，在启动DataNode，最后在启动secondarynamenode。
- 2、决定HDFS集群的启动时长会有两个因素：1）磁盘元数据的大小 2）datanode的节点个数
二、HDFS组成架构
2.1 HDFS文件块大小
三、HDFS的Shell操作
3.1 基本语法
bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令
dfs是fs的实现类。
[root@hadoop]$ bin/hadoop fs
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] <path> ...]
[-cp [-f] [-p] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]
3.2常用命令
启动Hadoop集群
sbin/start-dfs.sh
sbin/start-yarn.sh
-ls: 显示目录信息
hadoop fs -ls /
-mkdir：在HDFS上创建目录
hadoop fs -mkdir -p /sanguo/shuguo
-moveFromLocal：从本地剪切粘贴到HDFS
touch xxxxx.txt
hadoop fs -moveFromLocal ./xxxxx.txt /sanguo/shuguo
-appendToFile：追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt
-cat：显示文件内容
hadoop fs -cat /sanguo/shuguo/kongming.txt
-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt
hadoop fs -chown atguigu:atguigu /sanguo/shuguo/kongming.txt
-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
hadoop fs -copyFromLocal README.txt /
-copyToLocal：从HDFS拷贝到本地
hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt
-mv：在HDFS目录中移动文件
hadoop fs -mv /zhuge.txt /sanguo/shuguo/
-get：等同于copyToLocal，就是从HDFS下载文件到本地
hadoop fs -get /sanguo/shuguo/kongming.txt ./
-getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,…
hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt
-put：等同于copyFromLocal
hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/
-tail：显示一个文件的末尾
hadoop fs -tail /sanguo/shuguo/kongming.txt
-du统计文件夹的大小信息
hadoop fs -du -h /user/atguigu/test
-setrep：设置HDFS中文件的副本数量
hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt
四、HDFS的数据流
4.1 写数据
1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
2）NameNode返回是否可以上传。
3）客户端请求第一个 Block上传到哪几个DataNode服务器上。
4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
6）dn1、dn2、dn3逐级应答客户端。
7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。
4.2 读数据
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。
五、NameNode和SecondaryNameNode
5.1 NN和2NN工作机制
1. 第一阶段：NameNode启动
（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode记录操作日志，更新滚动日志。
（4）NameNode在内存中对数据进行增删改。
2. 第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
（2）Secondary NameNode请求执行CheckPoint。
（3）NameNode滚动正在写的Edits日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint到NameNode。
（8）NameNode将fsimage.chkpoint重新命名成fsimage。
5.2 CheckPoint时间设置
（1）通常情况下，SecondaryNameNode每隔一小时执行一次。
[hdfs-default.xml]
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>3600</value>
</property>
（2）一分钟检查一次操作次数，3当操作次数达到1百万时，SecondaryNameNode执行一次。
<property>
<name>dfs.namenode.checkpoint.txns</name>
<value>1000000</value>
<description>操作动作次数</description>
</property>
<property>
<name>dfs.namenode.checkpoint.check.period</name>
<value>60</value>
<description> 1分钟检查一次操作次数</description>
</property >
5.3 NameNode故障处理
NameNode故障后，可以采用如下两种方法恢复数据。
方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；
-
kill -9 NameNode进程
-
删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
[root@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
- 拷贝SecondaryNameNode中数据到原NameNode存储数据目录
[root@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/
- 重新启动NameNode
[root@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。
1.修改hdfs-site.xml中的
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>120</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>
-
kill -9 NameNode进程
-
删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）
[root@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
- 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件
[root@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./
[root@hadoop102 namesecondary]$ rm -rf in_use.lock
[root@hadoop102 dfs]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs
[root@hadoop102 dfs]$ ls
data name namesecondary
- 导入检查点数据（等待一会ctrl+c结束掉）
[root@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint
- 启动NameNode
[root@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
5.4 NameNode多目录配置
- NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性
- 具体配置如下
（1）在hdfs-site.xml文件中增加如下内容
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>
（2）停止集群，删除data和logs中所有数据。
[root@hadoop102 hadoop-2.7.2]$ rm -rf data/ logs/
[root@hadoop103 hadoop-2.7.2]$ rm -rf data/ logs/
[root@hadoop104 hadoop-2.7.2]$ rm -rf data/ logs/
（3）格式化集群并启动。
[root@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode –format
[root@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
（4）查看结果
[root@hadoop102 dfs]$ ll
总用量 12
drwx------. 3 atguigu atguigu 4096 12月 11 08:03 data
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2
六、DataNode
6.1DataNode工作机制
1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。
3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
4）集群运行中可以安全加入和退出一些机器。
6.2 数据完整性
DataNode节点保证数据完整性的方法。
1）当DataNode读取Block的时候，它会计算CheckSum。
2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。
3）Client读取其他DataNode上的Block。
4）DataNode在其文件创建后周期验证CheckSum，
6.3 掉线时限参数设置
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>300000</value>
</property>
<property>
<name>dfs.heartbeat.interval</name>
<value>3</value>
</property>
6.4 DataNode多目录配置
- DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本
2．具体配置如下
hdfs-site.xml
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>