Zookeeper集群搭建步骤及相关知识点深入了解
1、zookeeper概念
zookeeper是一个分布式协调服务：
a:zookeeper是为别的分布式程序服务的
b:zookeeper本身就是一个分布式程序（只要半数以上节点存活，zookeeper就能正常服务。）
c:zookeeper的服务范围：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务...
d:zookeeper底层其实只提供了两个功能：
1）管理（存储、读取）用户程序提交的数据
2）为用户程序提交数据节点监听服务
2、zookeeper集群机制
半数机制：集群中半数以上机器存活，集群可用。
zookeeper集群适合搭建在奇数台机器上。
3、zookeeper特性
- Zookeeper：一个leader，多个follower组成的集群
- 全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的
- 分布式读写，更新请求转发，由leader实施
- 更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行
- 数据更新原子性，一次数据更新要么成功，要么失败
- 实时性，在一定时间范围内，client能读到最新数据
4、zookeeper数据结构
- 层次化的目录结构，命名符合常规文件系统规范(见下图)
- 每个节点在zookeeper中叫做Znode,并且其有一个唯一的路径标识
- 节点Znode可以包含数据和子节点（但是EPHEMERAL类型的节点不能有子节点）
- 客户端应用可以在节点上设置监视器
- 节点类型：
1、Znode有两种类型：
短暂（ephemeral）（断开连接自己删除）
持久（persistent）（断开连接不删除）
2、Znode有四种形式的目录节点（默认是persistent ）
PERSISTENT
PERSISTENT_SEQUENTIAL（持久序列/test0000000019 ）
EPHEMERAL
EPHEMERAL_SEQUENTIAL
3、创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护
4、在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序
5、zookeeper原理及内部选举机制
原理：zookeeper在配置文件中并没有指定master和slave，但是，zookeeper在工作时，只有一个节点为leader，其余节点为follower，leader是通过内部的选举机制临时产生的。
选举机制：（两种情况）
（1）全新集群paxos
假设有五台服务器组成的zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的.假设这些服务器依序启动,来看看会发生什么.
1) 服务器1启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,所以它的选举状态一直是LOOKING状态
2) 服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1,2还是继续保持LOOKING状态.
3) 服务器3启动,根据前面的理论分析,服务器3成为服务器1,2,3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的leader.
4) 服务器4启动,根据前面的分析,理论上服务器4应该是服务器1,2,3,4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3,所以它只能接收当小弟的命了.
5) 服务器5启动,同4一样,当小弟.
（2）非全新集群（数据恢复）
初始化的时候，是按照上述的说明进行选举的，但是当zookeeper运行了一段时间之后，有机器down掉，重新选举时，选举过程就相对复杂了。
需要加入数据id、leader id和逻辑时钟。
数据id：数据新的id就大，数据每次更新都会更新id。
Leader id：就是我们配置的myid中的值，每个机器一个。
逻辑时钟：这个值从0开始递增,每次选举对应一个值,也就是说: 如果在同一次选举中,那么这个值应该是一致的 ; 逻辑时钟值越大,说明这一次选举leader的进程更新.
选举的标准就变成：
1、逻辑时钟小的选举结果被忽略，重新投票
2、统一逻辑时钟后，数据id大的胜出
3、数据id相同的情况下，leader id大的胜出
根据这个规则选出leader。
6、zookeeper集群的搭建(博主亲手成功搭建步骤，经得起考验！)
（1）准备三台机器：hadoop1(172.25.1.16)、hadoop2(172.25.1.17)、hadoop3(172.25.1.18)。
这三台机器是在之前安装好常用软件（jdk）的机器克隆来的，克隆来了以后，要分别对其中的物理地址和ip进行修改：
ifconfig ---查看物理设备名称（eth1）
setup ---修改里面的设备名称为eth1，并将修改ip地址，保存退出
service network restart ---重启网卡
ifconfig ---查看是否配置成功
（2）将zookeeper安装包上传到hadoop1的/usr/local中。
上传方式：使用上传工具或者使用lrzsz
lrzsz是一款在linux里可代替ftp上传和下载的程序。
要想使用lrzsz进行上传rz(也可直接鼠标拖拽)和下载sz，则必须安装lrzsz。可以使用yum install lrzsz自动安装，必须有网络。没有网络，可以制作yum本地源。
|
[root@config-zk1 ~]# yum install lrzsz [root@config-zk2 ~]# yum install lrzsz [root@config-zk3 ~]# yum install lrzsz |
（3）解压 tar -zxvf /usr/local/zookeeper-3.4.14.tar.gz
重命名 mv zookeeper-3.4.14.tar.gz zookeeper
|
config-zk1配置： [root@config-zk1 ~]# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz [root@config-zk1 ~]# mkdir /data [root@config-zk1 ~]# tar xf zookeeper-3.4.14.tar.gz -C /data/ [root@config-zk1 ~]# mv /data/zookeeper-3.4.14/ /data/zookeeper |
|
config-zk2配置： [root@config-zk2 ~]# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz [root@config-zk2 ~]# mkdir /data [root@config-zk2 ~]# tar xf zookeeper-3.4.14.tar.gz -C /data/ [root@config-zk2 ~]# mv /data/zookeeper-3.4.14/ /data/zookeeper |
|
config-zk3配置： [root@config-zk3 ~]# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz [root@config-zk3 ~]# mkdir /data [root@config-zk3 ~]# tar xf zookeeper-3.4.14.tar.gz -C /data/ [root@config-zk3 ~]# mv /data/zookeeper-3.4.14/ /data/zookeeper |
（4）修改环境变量
vi /etc/profile
添加内容：export ZOOKEEPER_HOME=/data/zookeeper
export PATH=.:$ZOOKEEPER_HOME/bin....
刷新环境变量
source /etc/profile
注意：3台机器都要修改
|
config-zk1配置： [root@config-zk1 ~]# vim /etc/profile export ZOOKEEPER_HOME=/data/zookeeper [root@config-zk1 ~]# source /etc/profile |
| config-zk2配置：
[root@config-zk2 ~]# vim /etc/profile export ZOOKEEPER_HOME=/data/zookeeper [root@config-zk2 ~]# source /etc/profile |
| config-zk3配置：
[root@config-zk3 ~]# vim /etc/profile export ZOOKEEPER_HOME=/data/zookeeper [root@config-zk3 ~]# source /etc/profile |
（5）修改配置文件
cd /data/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
|
config-zk1配置 [root@config-zk1 ~]# cd /data/zookeeper/conf |
| config-zk2配置
[root@config-zk2 ~]# cd /data/zookeeper/conf |
| config-zk3配置
[root@config-zk3 ~]# cd /data/zookeeper/conf |
vi zoo.cfg
添加内容：
dataDir=/data/zookeeper/data （不能放在临时文件夹中，需新建data文件夹）
dataLogDir=/data/zookeeper/logs（新建logs文件夹，可不要！！！）
server.1=172.25.1.16:2888:3888 (主机名, 心跳端口、数据端口)
server.2=172.25.1.17:2888:3888（都是默认端口）
server.3=172.25.1.18:2888:3888（2888是leader和follow之间通信，3888是投票选举时用的端口）
[root@config-zk1 conf]# vim zoo.cfg
|
# The number of milliseconds of each tick dataLogDir=/data/zookeeper/logs |
创建文件夹
|
[root@config-zk1 conf]# mkdir /data/zookeeper/{data,logs} -p [root@config-zk2 conf]# mkdir /data/zookeeper/{data,logs} -p [root@config-zk3 conf]# mkdir /data/zookeeper/{data,logs} -p |
在data文件夹中新建myid文件，myid文件的内容为1（一句话创建：echo 1 > myid）
|
config-zk1配置： [root@config-zk1 conf]# cd /data/zookeeper/data/ |
以上配置填写的是ip，第六点可以忽略
（6）把zookeeper目录复制到hadoop2和hadoop3中
在这之前要三台机器都要设置映射文件：
vi /etc/hosts
172.25.1.16 hadoop1
172.25.1.17 hadoop2
172.25.1.18 hadoop3
设置三个机器的本机免密登录（三台机器配置一样）：
ssh-keygen -t rsa ---一直回车即可
cd /root/.ssh/ ---生成了公钥和私钥
cat id_rsa.pub >> authorized_keys ---将公钥追加到授权文件中
more authorized_keys ---可以查看到里面追加的公钥
ssh hadoop1
配置两两之间的免密登录：
将hadoop1中的公钥复制到hadoop2中ssh-copy-id -i hadoop2 验证一下：ssh hadoop2
将hadoop3中的公钥复制到hadoop2中ssh-copy-id -i hadoop2 验证一下：ssh hadoop2
这样hadoop2中的授权文件就有三个机器的公钥，再把hadoop2中的授权文件复制给hadoop1和hadoop3
scp /root/.ssh/authorized_keys hadoop1:/root/.ssh/
scp /root/.ssh/authorized_keys hadoop3:/root/.ssh/
这样就ok了！
（7）把hadoop2中相应的myid的值改为2
|
config-zk2配置： [root@config-zk2 conf]# cd /data/zookeeper/data/ |
把hadoop3中相应的myid的值改为3
|
config-zk3配置： [root@config-zk3 conf]# cd /data/zookeeper/data/ |
（8）将三台机器的防火墙关闭掉，service iptables stop ，查看service iptables status
启动，在三个节点上分别都要执行命令zkServer.sh start
cd /data/zookeeper/bin
ls
zkServer.sh start
|
config-zk1配置： [root@config-zk1 data]# cd /data/zookeeper/bin/ |
|
config-zk2配置： [root@config-zk2 data]# cd /data/zookeeper/bin/ |
|
config-zk3配置： [root@config-zk3 data]# cd /data/zookeeper/bin/ |
启动完了之后，在bin目录下多了一个zookeeper.out
小技巧：（怎么对三台机器同时执行一个命令？）
在CRT中，菜单栏View-->Command Window勾选上，工具下面会出现一个窗口，在窗口中点击鼠标右键，选择all session。这样在窗口中执行一个命令，就会对所有session起作用！
（9）检验，jps查看进程，会出现进程QuorumPeerMain
在三个节点上依次执行命令zkServer.sh status(可以看到MODE，谁是leader，谁是follower)
hadoop1：follower
hadoop2:leader
hadoop3:follower
|
config-zk1配置： [root@config-zk1 bin]# zkServer.sh status |
|
config-zk2配置： [root@config-zk2 bin]# zkServer.sh status |
|
config-zk3配置： [root@config-zk3 bin]# zkServer.sh status |