8天学会Hadoop基础(1):NameNode的工作机制

1 NameNode

工作职责:

1.负责客户端的请求与响应

2.元数据的管理

NameNode对元数据的存储方式:

1.内存元数据

2.磁盘元数据镜像文件

3.数据操作日志文件(可通过日志运算出元数据,edits)

NameNode
(1)NameNode格式化,创建fsimage和fsedits文件

(2)NameNode启动,加载fsedits和fsimage到内存

(3)HDFS客户端对元数据进行增删改查

(4)NameNode更新内存

Secondary NameNode
(1)Secondary NameNode请求是否需要checkpoint

(2)NameNode响应请求,返回结果

(3)Secondary NameNode请求执行checkpoint

(4)NameNode滚动当前正在写的fsedits

(5)NameNode将滚动的fsedits和fsimage拷贝到Secondary NameNode

(6)Secondary NameNode加载fsedits和fsimage到内存并合并

(7)Secondary NameNode生成新的fsimage.chkpoint

(8)Secondary NameNode将新的fsimage.chkpoint拷贝到NameNode

(9)NameNode将fsimage.chkpoint重新命名成fsimage

元数据存储细节

问题:

如果在某次chkpoint操作前,NN宕机了,集群还能正常对外服务吗?

不能,没有NN不可以正常上传和下载文件

原文地址:https://www.cnblogs.com/blzm742624643/p/13381027.html