HDFS详细分析二

1)HDFS读过程

DistributedFileSystem -> FSDataInputStream -> DFSClient.open(RPC通信机制) -> NN.open
 
HDFS写过程
DIstributedFileSystem -> FSDataOutputStream -> DFSClient.create(RPC通信机制) -> NN.create
 
2)SecondaryNamenode的作用与机制
SecondaryNamenode不是完全意义上的Namenode的一个备份
拉取FSimage和edits文件在SNN的内存中进行合并
fs.checkpoint.period
fs.checkpoint.size
fs.checkpoint.dir
 
 
checkpoint node (和secondaryNamenode一致,Hadoop2中secondaryNamenode已被此替代)
 
backup node 完全意义上的Namenode备份
 
 
3)一旦丢失Namenode或者元数据信息,我们可以通过SecondaryNamenode的检查点目录回复我们的元数据信息
hadoop namenode -importCheckpoint
hadoop-daemon.sh start namenode
 
4)机架感知
默认情况下所有的Datanode认为是处于同一个机架,不管物理上是否处于用一个机架
/default-rack
如果需要配置真正的网络拓扑结构,需要配置以下文件:
topology.script.file.name属性值是一个脚本,这个脚本里面写的是真正意义上的网络拓扑结构
/d1/reck1/dn1
原文地址:https://www.cnblogs.com/litaiqing/p/4614971.html