zookeeper-3.4.6集群部署

zookeeper-3.4.6集群部署

IP

HOST

192.168.132.94

BDTEST05

192.168.132.95

BDTEST06

192.168.132.96

BDTEST07

1.          配置java环境

2.          准备zookeeper介质

tar -zxvf zookeeper-3.4.6.tar.gz

 

放置到 /app/zookeeper-3.4.6目录下

3.          配置zookeeper环境变量(可选)

[hduser@BDTEST05 zookeeper-3.4.6]$ sudo vi /etc/profile

 

[hduser@BDTEST05 zookeeper-3.4.6]$ source /etc/profile

4.          更改zookeeper配置文件

首先将/app/zookeeper-3.4.6/conf/zoo_sample.cfg文件复制一份,并更名为zoo.cfg,如下所示:

[hduser@BDTEST05 zookeeper-3.4.6]$ cp ./conf/zoo_sample.cfg ./conf/zoo.cfg

 

如果是single模式下,只需要修改dataDir即可。

1.       tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。

2.       dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。

3.       clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。

4.       initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒

5.       syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 2*2000=4 秒

6.       server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

注意:2888是主从的通信端口,3888是选举端口,server后面的1,2,3是在data目录下myid文件里的数值

根据dataDir和dataLogDir变量创建相应的目录。

[hduser@BDTEST05 zookeeper-3.4.6]$ mkdir /app/zookeeper-3.4.6/data

[hduser@BDTEST05 zookeeper-3.4.6]$ mkdir /app/zookeeper-3.4.6/logs

更改启动文件的日志路径配置

vi zkServer.sh

在下段代码之前添加export ZOO_LOG_DIR=/app/ zookeeper-3.4.6/logs

if [ ! -w "$ZOO_LOG_DIR" ] ; then

mkdir -p "$ZOO_LOG_DIR"

fi

5.          创建myid文件

除了修改 zoo.cfg 配置文件,集群模式下还要配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面就有一个数据就是 A 的值,Zookeeper 启动时会读取这个文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。

在dataDir目录下创建一个myid文件,然后分别在myid文件中按照zoo.cfg文件的server.A中A的数值,在不同机器上的该文件中填写相应的值。

[hduser@BDTEST05 zookeeper-3.4.6]$ vi ./data/myid

 

6.          将zookeeper-3.4.6拷贝到其他机器上

[hduser@BDTEST05 app]$ scp -r /app/zookeeper-3.4.6/ hduser@BDTEST06:/app/

[hduser@BDTEST05 app]$ scp -r /app/zookeeper-3.4.6/ hduser@BDTEST07:/app/

拷贝到目标机器后分别更改 myid的值

更改环境变量(如果步骤3添加了 此处相应也做更改)

7.          启动zookeeper

执行命令“zkServer.sh start”将会启动Zookeeper。在此大家需要注意,和在Master启动Hadoop不同,不同节点上的Zookeeper需要单独启动。而执行命令“zkServer.sh stop”将会停止Zookeeper。

在每台机器上运行 bin/zkServer.sh start

查看运行状态:bin/zkServer.sh status

Mode: leader

Mode: follower

可以看出哪台为leader了

[hduser@BDTEST05 zookeeper-3.4.6]$ bin/zkServer.sh start

 

查看运行状态(如果没有运行 查看防火墙是否是开启的):bin/zkServer.sh status

Error contacting service. It is probably not running.

关闭防火墙后还是报如下错误

查看进程,没有问题

 

监听端口

[hduser@BDTEST05 zookeeper-3.4.6]$ netstat -an | grep 2181

 

这里需要注意点,只有当至少启动了三个节点之后,该命令才会产生结果。否则会显示:zookeeper Error contacting service. It is probably not running错误

启动所有机器

 

再次查看状态

[hduser@BDTEST05 zookeeper-3.4.6]$ bin/zkServer.sh status

 

 

8.          关闭zookeeper

 /app/zookeeper-3.4.6/bin/zkServer.sh stop  关闭

 /app/zookeeper-3.4.6/bin/zkServer.sh restart  重启

9.          设置集群启动脚本

配置clush工具,添加zookeeper组

 

(1)创建关闭zookeeper服务器组脚本

[hduser@BDTEST05 service]$ vi stopZookeeper.sh

 

[hduser@BDTEST05 service]$ sh stopZookeeper.sh

(2)创建启动zookeeper服务器组脚本

[hduser@BDTEST05 service]$ vi startZookeeper.sh

 

[hduser@BDTEST05 service]$ sh startZookeeper.sh

原文地址:https://www.cnblogs.com/OS-BigData/p/8526687.html