Hadoop2.0高可用集群搭建方案

Hadoop1.0版本的单点问题

Hadoop 的namenode好比人的心脏,非常重要,绝对不可以停止工作,在hadoop1,只有一个namenode,如果该namenode数据丢失或停止工作,整个集群就不能恢复了。

hadoop2比hadoop1改进的地方:①高可用的解决方案

hadoop2中,有两个namenode(目前只支持两个,注意,不是secondarynamenode)。每一个都具有相同的职能,一个是active状态,一个是standby待命状态,时刻同步active状态的namenode数据,实现高可用。

要想实现数据的实现共享,新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群。NFS是操作系统层面的,JournalNode是hadoop层面的(主流做法)

   

   

Hadoop2.0实现思想

   

   

   

原文地址:https://www.cnblogs.com/shuzhiwei/p/11316335.html