Hadoop学习笔记之二:NameNode

NameNode对三大协议接口(NamenodeProtocol、ClientProtoco、DatanodeProtocol)进行实现,利用ipc::Server通过三个协议分别向SNN、Client、DN提供RPC服务(参考:Hadoop IPC);

NameNode的核心是FSNamesysem;

FSNamesystem持有几大主要数据结构:FSDirectory维护系统目录结构、BlocksMap维护数据块信息、LeaseManagr维护租约信息;此外,还通过DatandeDescriptor、corruptReplicas等维护数据结点(DN)状态、坏副本等信息;

FSDirectory通过FSImage及FSEditLog保存目录结构的某一时刻镜像(image)及对镜像的修改(edit);其中,修改的内容可以通过EditLogOutputStream写出;

Namespace(命名空间)

HDFS的Namespace(命名空间)用于记录系统中目录、文件、块之间的映射关系。

Namespace的内存结构

与传统使用习惯相同,HDFS使用了一棵树形结构。示意图如下:

INodeDirectory -/
|--- INodeFile -/
|--- BlockInfo
|--- BlockInfo
|--- INodeDirectory -/
|--- INodeFile
|--- INodeFile

INodeDirectory代表目录,目录可以映射到子目录及文件,文件映射到相关的文件块。

最顶层的目录—根目录(rootDir)由FSDirectory结构记录。

Namespace的外存存储

在需要的时候,NameNode可以将Namespace写出到磁盘。

写出时,从rootDir开始,对整棵命名树进行一次广度优先遍历,对遍历到的INode(INodeFile/INodeDirectory)依次写出到一个文件中。这个文件命名为fsImage。

fsImage是对Namespace的静态描述,在写出fsImage时,要求Namespace不可改变,而且比较耗时。

在整个系统提供连续服务的情况下,HDFS使用另一个文件记录Namespace的变化(添加/删除文件),对Namespace进行动态描述。这个文件命名为edits。

通过fsImage和edits的结合,可以即不影响服务,又能在外存记录Namespace的实时状态,避免因NameNode宕机造成元数据丢失。

BlocksMap

BlocksMap是NameNode保存block对象的容器。

所有的Block对象被封装成BlockInfo对象,BlockInfo对象组织成HashMap进行存储;

BlockInfo对象使用多个(与复本个数相同)三元组(triplets)保存每个block复本的位置信息;

三元组中第一个位元指向相应复本所在的DataNode;如图中虚线所示;

第二个位元指向相同DataNode中前一个Block;第三个位元指向相同DataNode中后一个Block;如图中实现所示,从一个DatanodeDescriptor开始,通过一个双向链表,可以找到该DataNode上所有的Block;

辅助线程

Namenode除服务主线程外,还有多个辅助线程如下:

线程名 描述
hbthread HeartbeatMonitor线程,每5秒运行一次,每5分钟检查一次节点列表,对心跳超时(10.5分种)的节点断定死亡;参见Heartbeat(心跳)
lmthread LeaseMonitor线程,每2秒检查租约是否超过hardLimit(1h);参见Lease(租约)
smmthread SafeModeMonitor线程,进入safeMode时才创建运行,每1秒钟检查一次是否可以离开,离开safeMode后线程结束;参见safeMode(安全模式)
replthread Replication线程,每3秒钟为Datanode分配replication任务,维护neededReplications和pendingReplications;参见Replication(复制)
nnrmthread NamenodeResourceMonitor线程,每5秒运行一次,检查磁盘空间不足的情况下使NN进入safemode;参见NameNodeResourceMonitor
pendingReplications.timerThread PendingReplicationBlocks线程,每5分钟将pendingReplications中的超时操作移到timedOutItems,见Replication(复制)
dnthread DecommissionManager线程,默认每30秒最多检查5个节点的Decommission状态;参见Decommission(退役)
httpServer  
原文地址:https://www.cnblogs.com/ZisZ/p/3253240.html