nameode启动过程

namenode在内存和磁盘中都保存了fsimage和edits文件

内存中保证hdfs文件系统的访问效率,磁盘中保证hdfs文件系统的安全性

namenode的文件组成:

fsimage文件:保存文件系统中直至上次checkpoint为止 的目录和文件元数据

edits文件:保存文件系统中直至上次checkpoint为止 的操作记录

首次启动时需要格式化:hadoop fs namenode -format,主要是为了生成fsimage文件

首次过程:

启动namenode读取fsimage生成内存中元数据

启动datanode,dn向nn注册,发送blockreport

启动完成之后client可以向hdfs文件系统进行操作(create,put,get,cat...),操作日志将会被写到edits文件中

之后的过程:

读取fsimage元数据文件加载到内存,读取edits文件加载到内存,然后再磁盘中生成一份和内存中一样的fsimage文件,同时生成一份新的空edits文件,用于记录之后的hdfs操作日志

secondarynamenode:辅助namenode但是不能替代

工作过程:snn通过http请求获取nn的fsimage和edits文件,snn将fsimage加载内存然后合并edits,形成新的fsimage后发送给nn

安全模式:在namenode和datanode完全启动之前的阶段,该模式下client只能读取hdfs文件信息,不能更改任何内容

dfsadmin -safemode enter

dfsadmin -safemode get

dfsadmin -safemode leave

原文地址:https://www.cnblogs.com/chengdonghui/p/10457384.html