08-Apache Zookeerper--概述和集群相关概念（主从、主备）
01) zookeeper的介绍
01) 分布式协调服务的开源框架,主要解决分布式集群中应用系统间的一致性问题.
02) 小文件的存储系统(数据存放在内存中,数据量有大小限制), 以树形结构进行组织数据
03) 可以维护和监控数据状态的变化,通过监控数据状态的变化,达到分布式系统中集群管理的效果.
04) 分布式程序: 可以多台服务器部署(可靠 稳定)
05) zookeeper是一个主从架构集群(一个大哥带着多个小弟干活)
02) 主从 主备概念介绍
01) 主从
主角色: master leader 大哥
从角色: slave follower 小弟
常见一主多从架构(storm hadoop等),主从架构各司其职,互相配合,共同对外提供服务
02) 主备
主角色: active(活跃的)
备角色: standby(备用状态)
主备角色常用于解决单点故障问题,常见的是一主一备, 只有主角色发生故障时,备角色才会切换成主角色
同一时刻只能有一个主角色(一山不容二虎)
高可用架构: 现实中的集群大多数是一主多从架构,同时给主角色搞一个备角色
09-Apache Zookeerper--zk全局数据一致性特性
01) 全局数据一致性
无论客户端连到哪一个 ZooKeeper 服务器上,其看到的服务端数据模型都是一致的.
02) 原子性
一次数据更新要么成功(过半更新成功),要么失败,不存在中间状态
03) 可靠性
一旦一次更改请求被应用,更改的结果就会被持久化,直到被下一次更改覆盖
04) 顺序性
客户端发起的事务请求,最终将会严格地按照顺序被应用到 ZooKeeper 中去
10-Apache Zookeerper--集群角色介绍
01) 主角色:leader
事务性请求的唯一处理和调度者,保证集群事务处理的顺序性,同时全局统一协调管理各个follower
02) 从角色
响应非事务处理请求(查询请求),转发事务请求给leader,参与leader的选举投票
03) observer 观察者角色
没有投票选举权的follower,可以响应非事务处理请求,转发事务请求给leader
通常用于zk集群扩大读性能
11-Apache Zookeerper--集群搭建--java安装
01) 卸载centos自带的openjdk
02) 上传jdk安装包
03) 解压jdk安装包到指定的目录
04) 配置JAVA_HOME和jdk环境变量
05) 让环境变量生效
06) 验证是否安装成功
12-Apache Zookeerper--集群搭建--配置文件详解&启动关闭
01) 前提条件:
监测jdk是否安装成功
检测集群时间是否同步
检测防火墙是否关闭
检测主机 ip映射有没有配置
一般windows也会配置主机名和ip映射
检查SSH免密登录
02) 安装步骤:
01) 上传zookeeper的安装包到一台服务器上
cd /export/software
rz 选择zookeeper的安装包进行上传
02) 解压zookeeper到指定的目录
tar -zxf zookeeper-3.4.5-cdh5.14.0.tar.gz -C /export/servers/
cd /export/servers/
03) 修改zookeeper的配置文件
cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf
mv zoo_sample.cfg zoo.cfg
vi zoo.cfg
修改内容如下:
dataDir=/export/data/zk
配置文件底部添加如下内容:
server.1=hadoop01:2887:3887
server.2=hadoop02:2887:3887
server.3=hadoop03:2887:3887
备注:
2181: zookeeper客户端连接端口
2887: 服务器间通信的端口
3887: 选举的端口
04) 将配置好的zookeeper分发给其他两台主机上
cd /export/servers/
scp -r zookeeper-3.4.5-cdh5.14.0/ root@hadoop02:$PWD //将zookeeper复制到node02的同级目录下
scp -r zookeeper-3.4.5-cdh5.14.0/ root@hadoop03:$PWD //将zookeeper复制到node03的同级目录下
备注:
scp远程拷贝
-r 拷贝文件夹
$PWD: 和当前目录一致
05) 分别在三台主机上创建数据存放目录和myid文件
hadoop01:执行的命令
mkdir -p /export/data/zk
echo "1" > /export/data/zk/myid //将1字符串写入myid这个文件中,文件位置和文件名不可以修改
cat /export/data/zk/myid //此命令用于查看此文件有没有正确写入 1
hadoop02:执行的命令
mkdir -p /export/data/zk
echo "2" > /export/data/zk/myid
cat /export/data/zk/myid //此命令用于查看此文件有没有正确写入 2
hadoop03:执行的命令
mkdir -p /export/data/zk
echo "3" > /export/data/zk/myid
cat /export/data/zk/myid //此命令用于查看此文件有没有正确写入 3
06) 配置zookeeper的环境变量
vim /etc/profile
export ZK_HOME=/export/servers/zookeeper-3.4.5-cdh5.14.0
export PATH=$PATH:$ZK_HOME/bin
source /etc/profile 让环境变量生效
07) 启动和关闭zookeeper集群
三台服务器逐个启动: zkServer.sh start
停止zookeeper的命令: zkServer.sh stop
08) 查看zookeeper集群的状态
zkServer.sh status
09) 编写一键启动脚本
#!/bin/sh
echo "启动zookeeper中...."
for host in hadoop01 hadoop02 hadoop03
do
ssh -q $host "source /etc/profile; /export/servers/zookeeper-3.4.5-cdh5.14.0/bin/zkServer.sh start"
done
13-Apache Zookeerper--数据模型和节点类型
01) 简单的数据模型
01) 典型的树形层次结构
02) zookeeper树上的每个节点被称为znode,znode具有以下特性:
01) znode兼具有文件和目录的特性
既可以像文件存储数据,还可以作为路径标识的一部分,并且可以具有子znode.
02) znode通过路径引用
引用路径必须以斜杠(根目录)开头,必须是绝对路径,而且一个znode的路径都是唯一的
03) znode存放的数据量有限
znode数据存放在内存中,存放数据大小至多1M
02) znode的类型
01) 两种节点类型
01) 临时节点
临时节点是指这个Znode的生命周期和客户端会话绑定,一旦客户端会话失效,那么这个客户端创建的所有临时节点都会被移除
02) 持久节点
持久节点是指一旦这个ZNode被创建了,除非主动进行ZNode的移除操作,否则这个ZNode将一直保存在Zookeeper上
02) znode的序列化特性
ZooKeeper还允许用户为每个节点添加一个特殊的属性: sequential（序列化）
一旦节点被标记上这个属性,那么在这个节点被创建的时候,Zookeeper会自动在其节点名后面追加上一个整型数字,
这个整型数字是一个由父节点维护的自增数字
03) 整体节点类型:
persistent: 永久节点
ephemeral: 临时节点
persistent_sequential: 永久节点 序列化
ephemeral_sequential: 临时节点 序列化
注意: 临时节点不能有子节点
14-Apache Zookeerper--shell命令行操作znode
01) 客户端连接
zkCli.sh -server host:port 举例: zkCli.sh -server hadoop01:2181
如果连接本机,不需要加-server参数 举例: zkCli.sh
02) shell客户端操作
01) 创建节点
create [-s] [-e] path data
说明: -s sequential:序列化 -e ephemeral: 临时的
举例:
create /itcast 123123 创建永久非序列化节点
create -e /itcasttmp 123123 创建临时非序列化节点,会话结束,节点会被移除
create -s /itcast/a aaaa 创建永久序列化节点,会自动添加自增的序列化编号
02) 读取节点
ls path
说明: 列出指定节点下的所有子节点
举例: ls /itcast
get path
说明: 获取指定节点的数据内容和属性信息
举例: get /itcast
03) 更新节点
set path data
说明: 更新节点的数据内容
举例: set /itcast 345345
04) 删除节点
delete path
说明: 删除节点(如果节点下存在子节点,需要先删除子节点,才能删除该节点)
举例: delete /itcast/b0000000003
rmr path
说明: 递归删除节点
举例: rmr /itcast
05) 其他命令:
history: 列出来执行的历史命令
setquota -n 2 /itcast
说明: 对节点增加限制 -n 子节点最大个数
注意: 首先该节点必须存在,才能限制, 其次限制为软限制,超出限制仅仅会在日志中警告
listquota path 列出指定节点的quota
举例: listquota /itcast
delquota path 删除指定节点的quota
举例: delquota /itcast
15-Apache Zookeerper--节点属性和watch监听机制
01) 节点属性:
cZxid = 0x1200000010 //创建时的事务id
ctime = Fri Aug 30 10:08:36 CST 2019
mZxid = 0x1200000023 //最后一次更新时的事务id
mtime = Fri Aug 30 10:42:56 CST 2019
pZxid = 0x120000002e //当前节点子节点列表最后一次被修改时的事务id
//引起子节点列表变化的两种情况：删除子节点或者新增子节点
cversion = 4 //子节点的版本号。当znode的子节点有变化时，cversion 的值就会增加1。
dataVersion = 2 //数据的版本(每修改一次,就加1)
aclVersion = 0
ephemeralOwner = 0x0 //创建临时节点时的事务id(也就是sessionid)
dataLength = 27 //数据长度
numChildren = 4 //子节点个数
02) Watcher监听机制
01) 介绍:
Watcher(事件监听器),是Zookeeper中的一个很重要的特性.
Zookeeper允许用户在指定节点上注册一些Watcher,并且在一些特定事件触发的时候,
ZooKeeper服务端会将事件通知到感兴趣的客户端上去,该机制是Zookeeper实现分布式协调服务的重要特性
02) 监听机制的步骤
1 设置监听
2 监听的执行
3 触发监听,通知给设置监听者(回调 callback)
03) 监听机制的特点
1 监听需要先注册才能触发
2 客户端可以去监听zk目录树几种事件的发生: 节点创建事件 节点删除事件 节点数据改变 子节点改变
3 设置监听是一次性的,每次都需要重新注册
04) 演示举例:
设置节点数据变动监听: get /itcast watch
使用另外一个客户端更改节点数据: set /itcast bbbb
此时设置监听的客户端会收到通知(节点数据变动通知): WatchedEvent state:SyncConnected type:NodeDataChanged path:/itcast
16-Apache Zookeerper--zk java api
01) 节点的增删改查API操作:
public class ZkDemo {
ZooKeeper zk = null;
//连接字符串
public static final String connectString = "node01:2181,node02:2181,node03:2181";
//超时时间
public static final int sessionTimeout = 3000;
/**
* 初始化zookeeper客户端连接对象
*
* @throws Exception
*/
@Before
public void init() throws Exception {
this.zk = new ZooKeeper(connectString, sessionTimeout, null);
}
/**
* 创建znode节点
*/
@Test
public void testCreate() throws InterruptedException, KeeperException {
//参数1: 路径, 参数2: 数据 , 参数3: 访问权限列表, 参数4: 节点类型(4种节点类型)
String create = zk.create("/itheima", "专注于it培训".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
System.out.println(create);
zk.close();
}
/**
* 获取节点数据
*
* @throws Exception
*/
@Test
public void testGet() throws Exception {
// 参数1：节点路径 参数2：是否需要监听 参数3：所要获取的数据的版本,null表示最新版本的节点数据
byte[] data = zk.getData("/itheima", false, null);
System.out.println(new String(data, "utf-8"));
zk.close();
}
/**
* 修改节点数据
*
* @throws Exception
*/
@Test
public void testUpdate() throws Exception {
//参数1: 节点路径, 参数2: 修改成的数据内容 参数3: 版本, -1 代表任何版本(系统来维护)
zk.setData("/itheima", "一样的教育,不一样的品质22".getBytes(), -1);
zk.close();
}
/**
* 删除节点数据
*
* @throws Exception
*/
@Test
public void testDelete() throws Exception {
//参数1: 节点路径 参数2: 版本 -1 代表任何版本
zk.delete("/itheima", -1);
zk.close();
}
}
02) 节点监听API操作:
public class ZkWatchDemo {
ZooKeeper zk = null;
//连接字符串
public static final String connectString = "node01:2181,node02:2181,node03:2181";
//超时时间
public static final int sessionTimeout = 3000;
/**
* 初始化
*/
@Before
public void init() throws IOException {
//参数3: 设置的监听器
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
public void process(WatchedEvent event) {
//如果注册了监听,一旦触发,就会调用这个process方法
if(event.getState() == Event.KeeperState.SyncConnected &&
event.getType() == Event.EventType.NodeDataChanged){
//节点数据变化事件
System.out.println("触发监听回调:");
System.out.println(event.getState());
System.out.println(event.getType());
}else if(event.getState() == Event.KeeperState.SyncConnected &&
event.getType() == Event.EventType.NodeChildrenChanged){
//子节点变化事件
System.out.println("触发监听回调:");
System.out.println(event.getState());
System.out.println(event.getType());
}
}
});
}
/**
* 测试监听
* @throws Exception
*/
@Test
public void testGetWatch() throws Exception {
//监听节点数据的变化事件
byte[] data = zk.getData("/itheima", true, null);
//监听节点的子节点变化事件
List<String> children = zk.getChildren("/itheima", true);
System.out.println(new String(data, "UTF-8"));
//客户端不要关闭
Thread.sleep(Long.MAX_VALUE);
}
}
17-Apache Zookeerper--选举机制
01) 选举说明:
01) 投票数超过半数则胜出,投票结束
02) 服务器编号越大,权重越大
03) 数据id(dataversion) 越大, 权重越大
04) 逻辑时钟: 又叫投票次数,同一轮投票过程中的逻辑时钟值是相同的.
02) 全新集群的选举机制:
原则:
每个人都是自私的
服务器编号越大(myid),权重越大
投票过半数则胜出,选举结束
03) 非全新集群的选举机制:
原则:优中择优
找出数据最新的 dataversion最大
找出状态最好的 逻辑时钟是否一致,小于当前时钟的,排除
如果以上都情况,还无法确定一个leader, 最后比较服务器编号id,谁最大谁胜出