Zookeeper 总结及安装

分布式协调技术

分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源，防止造成"脏数据"的后果。

在这个分布式系统中如何对进程进行调度，我假设在第一台机器上挂载了一个资源，然后这三个物理分布的进程都要竞争这个资源，但我们又不希望他们同时进行访问，这时候我们就需要一个协调器，来让他们有序的来访问这个资源。这个协调器就是我们经常提到的那个锁，比如说"进程-1"在使用该资源的时候，会先去获得锁，"进程1"获得锁以后会对该资源保持独占，这样其他进程就无法访问该资源，"进程1"用完该资源以后就将锁释放掉，让其他进程来获得锁，那么通过这个锁机制，我们就能保证了分布式系统中多个进程能够有序的访问该临界资源。那么我们把这个分布式环境下的这个锁叫作分布式锁。这个分布式锁也就是我们分布式协调技术实现的核心内容。

分布式锁

为了防止分布式系统中的多个进程之间相互干扰，我们需要一种分布式协调技术来对这些进程进行调度。而这个分布式协调技术的核心就是来实现这个分布式锁。

  • 分布式锁应该具备哪些条件
    • 在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线 程执行
    • 高可用的获取锁与释放锁
    • 高性能的获取锁与释放锁
    • 具备可重入特性（可理解为重新进入，由多于一个任务并发使用，而 不必担心数据错误）
    • 具备锁失效机制，防止死锁
    • 具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败
  • 分布式锁的实现有哪些
    • Memcached：利用 Memcached 的 add 命令。此命令是原子性操作，只有在 key 不存在的情况下，才能 add 成功，也就意味着线程得到了锁。
    • Redis：和 Memcached 的方式类似，利用 Redis 的 setnx 命令。此命令同样是原子性操作，只有在 key 不存在的情况下，才能 set 成功。
    • Zookeeper：利用 Zookeeper 的顺序临时节点，来实现分布式锁和等待队列。Zookeeper 设计的初衷，就是为了实现分布式锁服务的。
    • Chubby：Google 公司实现的粗粒度分布式锁服务，底层利用了 Paxos 一致性算法。

ZooKeeper

ZooKeeper 是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper 通过其简单的架构和 API 解决了这个问题。ZooKeeper 允许开发人员专注于核心应用程序逻辑，而不必担心应用程序的分布式特性。

Zookeeper 的数据模型

Zookeeper 的数据模型是什么样子呢？它很像数据结构当中的树，也很像文件系统的目录。

树是由节点所组成，Zookeeper 的数据存储也同样是基于节点，这种节点叫做 Znode
img

  • data：Znode 存储的数据信息。
  • ACL：记录 Znode 的访问权限，即哪些人或哪些 IP 可以访问本节点。
  • stat：包含 Znode 的各种元数据，比如事务 ID、版本号、时间戳、大小等等。
  • child：当前节点的子节点引用

Zookeeper 的基本操作

  • 创建节点
    create
  • 删除节点
    delete
  • 判断节点是否存在
    exists
  • 获得一个节点的数据
    getData
  • 设置一个节点的数据
    setData
  • 获取节点下的所有子节点
    getChildren

其中，exists，getData，getChildren 属于读操作。Zookeeper 客户端在请求读操作的时候，可以选择是否设置 Watch

Zookeeper 的事件通知

可以把 Watch 理解成是注册在特定 Znode 上的触发器。当这个 Znode 发生改变，也就是调用了 create，delete，setData 方法的时候，将会触发 Znode 上注册的对应事件，请求 Watch 的客户端会接收到异步通知。

ZAB

Zookeeper Atomic Broadcast，有效解决了 Zookeeper 集群崩溃恢复，以及主从同步数据的问题。

ZAB 协议定义的三种节点状态

  • Looking ：选举状态。
  • Following ：Follower 节点（从节点）所处的状态。
  • Leading ：Leader 节点（主节点）所处状态

最大 ZXID

ZAB 的崩溃恢复

Zookeeper 的应用场景

  • 分布式锁

这是雅虎研究员设计 Zookeeper 的初衷。利用 Zookeeper 的临时顺序节点，可以轻松实现分布式锁。

  • 服务注册和发现

利用 Znode 和 Watcher，可以实现分布式服务的注册和发现。最著名的应用就是阿里的分布式 RPC 框架 Dubbo。

  • 共享配置和状态信息

Redis 的分布式解决方案 Codis，就利用了 Zookeeper 来存放数据路由表和 codis-proxy 节点的元信息。同时 codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy。

此外，Kafka、HBase、Hadoop，也都依靠Zookeeper同步节点信息，实现高可用。

Zookeeper 如何实现分布式锁

安装

docker-compose 方式的 zookeeper 伪集群安装

  • docker-compose.yml 
    version: '3.1'
services:
    zoo1:
        image: zookeeper:3.4.11
        restart: always
        hostname: zoo1
        ports:
            - 2181:2181
        environment:
            ZOO_MY_ID: 1
            ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

    zoo2:
        image: zookeeper:3.4.11
        restart: always
        hostname: zoo2
        ports:
            - 2182:2181
        environment:
            ZOO_MY_ID: 2
            ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

    zoo3:
        image: zookeeper:3.4.11
        restart: always
        hostname: zoo3
        ports:
            - 2183:2181
        environment:
            ZOO_MY_ID: 3
            ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
  • 启动

使用 docker-compose up -d 拉取并启动

使用下面命令进入第三个容器

docker exec -it zookeeper_zoo3_1 /bin/bash

查看当前服务状态

bash-4.4# cd /zookeeper-3.4.11/bin/
bash-4.4# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Mode: leader

发现是主节点，则其他两个自然为从节点

没有修不好的电脑
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/duniqb/p/12702462.html