HDFS的高可用机制和联邦机制

1.高可用机制:

在搭建Hadoop集群时可以配置很多个NameNode,这样使得在一个NameNode出现问题时其他NameNode可以迅速代替。

当一个NameNode处于Activity状态时,其他处于Standby状态,在此期间,所有NameNode的元数据保持一致。

2.NameNode的元数据保持一致的过程

处于Ativity状态时,将日志写入共享文件系统,处于Standby的NameNode读取日志文件。

3.联邦机制

当集群很大时,NameNode的内存成了性能的瓶颈,所以提出了联邦机制

4.联邦机制原理

将NameNode划分成不同的命名空间并进行编号。不同的命名空间之间相互隔离互不干扰。在DataNode中创建目录,此目录对应命名空间的编号。由此,编号相同的数据由对应的命名空间进行管理

原文地址:https://www.cnblogs.com/wangzhaojun1670/p/13515709.html