启用hdfs的高可用

cm-HDFS:

选择另外一个节点的做NN, 生产选node3

选择三个节点作journalNode, node2,3,4

 填入journalNode的目录/dfs/jn

 经过一系列步骤,如果没报错

点继续:

 

停止所有hive服务:

 注: 生产的数据量比较大, 更新花费的时间比较长6-8个小时

 重启hive服务:

 

 再看hdfs看到新出现的服务:

注意:

1/  高可用启用后,hdfs入口地址发生变化,如代码里有配的,需从node4.datalake.opay.com:8020改为集群地址warehourse:8020或warehourse

即: hdfs://node4.datalake.opay.com:8020 改为hdfs://warehourse

2/ 使用hue, web界面角色要改为活动的NN,用备用NN在hue中使用hdfs会有问题

原文地址:https://www.cnblogs.com/hongfeng2019/p/11401264.html