王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程:剖析NameNode和Secondary NameNode的工作机制和流程

本讲主要剖析SecondaryNameNode。

 

“云计算分布式大数据Hadoop实战高手之路”之完整发布目录

云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云计算实战性资料,欢迎大家加入!

 

Hadoop在启动的时候,会启动SecondaryNameNode,我们使用JPS命令查看一下查看一下Hadoop启动时启动了那些进程:

 

在我们讲解SecondaryNameNode的具体作用之前,我们先看一看NameNode的工作特点和具体作用:

1,在Hadoop的集群中,有NameNode和DataNode之分,在运行时DataNode可以有很多个,但NameNode只有一个;

2,NameNode保存的是Hadoop集群的metadata,即文件系统的元数据,包含整个文件系统的目录结构,每一个目录有哪些文件,每个文件有哪些分块,每个分块保存在哪一个DataNode上面;

3,NameNode在内存中保存metadata,这样可以快速的处理客户端对数据的“读请求”;

4,但是内存中的数据是容易丢失的,例如掉电时,所以我们必须在磁盘上有metadata的副本;

5,当有“写请求”到来时,即要改变Hadoop的文件系统时,NameNode会首先写editlog并主动同步到磁盘,成功后才会修改内存中的metadata,并且返回给客户端,客户端在收到成功返回的信息后才会写数据到具体的DataNode上去;

6,Hadoop会在磁盘上维护一个fsimage的文件,该文件是NameNode中metedata的镜像;

7,fsimage不会随时与NameNode中的metedata保持一致,而是每隔一段时间通过合并editlog中的内容来更新;

8,合并的过程是比较消耗内存和CPU的操作,所以Hadoop就是用SecondaryNameNode专门用于更新fsimage文件;

 

下面我们看看SecondaryNameNode的工作流程:

1,SecondaryNameNode通知PrimaryNameNode切换editlog;

2,SecondaryNameNode通过HTTP协议从PrimaryNameNode获得fsimage和editlog;

3,SecondaryNameNode将fsimage载入内存,然后开始合并editlog的操作;

4,SecondaryNameNode将合并后的新的fsimage发给PrimaryNameNode;

5,PrimaryNameNode收到SecondaryNameNode发过来的新的fsimage后会用新的fsimage替换旧的fsimage;

SecondaryNameNode合适触发上述的工作流程呢?或者说checkpoint是什么呢?满足以下的任何条件都会触发SecondaryNameNode的工作流程:

1,fs.checkpoint.period 指定两次checkpoint之间最大时间间隔,默认时间为3600秒,即一个小时;

2,fs.checkpoint.size规定editlog文件的最大值,该文件的默认大小是64M,一旦超过这个值则强制触发SecondaryNameNode的工作流程;

 

从Hadoop 2.X开始推出了Active-Backup NameNode的模式,即同时具有两个NameNode:Active NameNode和Backup NameNode,当Acitive NameNode不能够正常提供服务是时候,Backup NameNode就可以接替Acitive NameNode继续为客户端提供服务,这样就会更有力的保证Hadoop服务不会中断。

大家可以看出在Hadoop 1.X的版本时,整个Hadoop的正常工作极端的依赖于单一的Primary NameNode,当Primary NameNode出现问题的时候,整个Hadoop的文件系统就无法给客户端提供服务了,这对一些非常关键的应用是难以接受的,所以运行NameNode节点的机器的硬件需要非常好,例如磁盘的IO速度要非常快;

原文地址:https://www.cnblogs.com/wangjialin/p/3144710.html