1.6学习总结:Spark集群的高可用配置

1.学习链接

https://www.bilibili.com/video/BV1yD4y1U73C?p=10

2.简介

Spark集群的高可用机制用于解决master出现单点失败的情况。解决方法:配置两个master主机,当一个挂掉的时候将所有任务提交给另一个主机。

3.配置过程

3.1停止整个集群

进入spark文件下的sbin目录中,使用stop-all.sh命令停止整个集群

3.2修改配置文件

修改spark/conf/spark-env.sh

将第一个红色的框中的内容注释掉,再添加第二个框中的内容

3.3分发到整个集群

进入到spark安装目录的上一级,执行以下两个操作

 

3.4启动整个集群

在master上启动一个集群,在node02上在启动集群,两个主机的状态一个为ALIVE另一个为STANDBY

master:

 node02:

 3.5查看启动状态

原文地址:https://www.cnblogs.com/wangzhaojun1670/p/14295292.html