一.方案选型
ETCD官网提供了一种实时镜像同步数据的工具mirror-maker，如果出现主机房服务挂掉可以通过切换域名的形式切换到灾备机房，这个过程数据是可以保持一致的。
注意：make-mirror 的使用需要依赖于API版本3， 使用API2的无法通过该工具做数据同步。
1.1 原理图
1.2 命令行语法
ETCDCTL_API=3 etcdctl make-mirror [options] <destination> [flags]
其中[options]主要是配置源集群和目的集群证书信息，以及源集群的客户端地址等。``是目的集群的客户端地址。该命令是单向的，目的集群的变化不会影响源集群。
二.部署实现
这里需要部署好两套etcd集群，这里采用TLS证书对通信进行加密，并开启即与CA根证书签名签名的双向认证。
2.1 部署etcd集群
这里由于设备限制，我们采用单节点部署etcd集群。
2.1.1 安装操作系统及相关配置
这里我们安装centos7.6的操作系统，并进行相关配置
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 关闭selinux
setenforce 0
# 配置selinux的配置文件
[root@k8s001 ansible]# cat /etc/selinux/config
SELINUX=disabled
SELINUXTYPE=targeted
# 配置无秘钥访问
ssh-keygen
ssh-copy-id root@192.168.1.1
2.2.2 安装etcd二进制文件和证书生成工具
这里我们安装etcd 3.3.10版本和cfssl 1.2.0版本，下载完毕后将二进制文件复制到/usr/bin目录下，并给与755权限。
cp etcd etcdctl cfssl cfssljson /usr/bin
chmod -R 755 /usr/bin/{etcd,etcdctl,cfssl,cfssljson}
2.2.3 创建CA证书和私钥
- 创建CA证书存放目录
mkdir -p /etc/kubernetes/ssl
- 创建CA配置文件
[root@k8s001 ~]# mkdir /etc/cert
[root@k8s001 ~]# cat /etc/cert/ca-config.json
{
"signing": {
"default": {
"expiry": "438000h"
},
"profiles": {
"kubernetes": {
"usages": [
"signing",
"key encipherment",
"server auth",
"client auth"
],
"expiry": "438000h"
}
}
}
}
- 创建CA签名请求文件
[root@k8s001 templates]# cat /etc/cert/ca-csr.json
{
"CN": "kubernetes",
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "HangZhou",
"L": "XS",
"O": "k8s",
"OU": "System"
}
],
"ca": {
"expiry": "876000h"
}
}
- 生成CA证书和私钥
[root@k8s001 ~]#cd /etc/cert
[root@k8s001 cert]#/usr/bin/cfssl gencert -initca ca-csr.json | /usr/bin/cfssljson -bare ca
# 这里会生成ca.pem和ca-key.pem文件
- 复制CA证书和私钥到/etc/kubernetes/ssl目录
[root@k8s001 cert]# cp ca.pem ca-key.pem /etc/kubernetes/ssl/
2.2.4 创建etcd证书和私钥
- 创建etcd证书私钥存放目录和etcd数据存放目录
[root@k8s001 ~]# mkdir -p /etc/etcd/ssl
[root@k8s001 ~]# mkdir -p /var/lib/etcd
- 创建etcd证书请求文件
[root@k8s001 ~]# cd /etc/cert
[root@k8s001 cert]# cat etcd-csr.json
{
"CN": "etcd",
"hosts": [
# 这里记录etcd集群左右主机的IP
"192.168.1.1",
"127.0.0.1"
],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "HangZhou",
"L": "XS",
"O": "k8s",
"OU": "System"
}
]
}
- 生成etcd证书和私钥
[root@k8s001 cert]# /usr/bin/cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem -ca-key=/etc/kubernetes/ssl/ca-key.pem -config=/etc/cert/ca-config.json -profile=kubernetes etcd-csr.json |/usr/bin/cfssljson -bare etcd
# 这里会生成etcd.pem和etcd-key.pem
- 复制etcd证书和私钥到etcd证书目录
[root@k8s001 cert]# cp etcd.pem etcd-key.pem /etc/etcd/ssl/
2.2.5 创建etcd的unit文件
[root@k8s001 tasks]# cat /etc/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos
[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
ExecStart=/usr/bin/etcd
--name=k8s001.wf
--cert-file=/etc/etcd/ssl/etcd.pem
--key-file=/etc/etcd/ssl/etcd-key.pem
--peer-cert-file=/etc/etcd/ssl/etcd.pem
--peer-key-file=/etc/etcd/ssl/etcd-key.pem
--trusted-ca-file=/etc/kubernetes/ssl/ca.pem
--peer-trusted-ca-file=/etc/kubernetes/ssl/ca.pem
--peer-client-cert-auth=true
--client-cert-auth=true
--initial-advertise-peer-urls=https://192.168.1.1:2380
--listen-peer-urls=https://192.168.1.1:2380
--listen-client-urls=https://192.168.1.1:2379,http://127.0.0.1:2379
--advertise-client-urls=https://192.168.1.1:2379
--initial-cluster-token=etcd-cluster-0
--initial-cluster=k8s001.wf=https://192.168.1.1:2380
--initial-cluster-state=new
--data-dir=/var/lib/etcd
Restart=always
RestartSec=5
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
- 开机启动etcd
[root@k8s001 ~]#systemctl enable etcd
- 启动etcd
[root@k8s001 ~]#systemctl daemon-reload && systemctl restart etcd
2.2 参考2.1部署好另外一套etcd集群
这里部署好两套etcd集群分别为192.168.1.1,192.168.1.2
- 分别在这两套集群创建对应的证书存放目录
[root@k8s001 ~]# mkdir -p /etc/kubernetes/etcd
[root@k8s002 ~]# mkdir -p /etc/kubernetes/etcd
- 复制集群的CA证书和etcd证书私钥到对方集群的/etc/kubernetes/etcd目录下
[root@k8s001 ~]# scp -p /etc/kubernetes/ssl/ca.pem /etc/etcd/ssl/{etcd.pem,etcd-key.pem} root@192.168.1.2:/etc/kubernetes/etcd
[root@k8s002 ~]# scp -p /etc/kubernetes/ssl/ca.pem /etc/etcd/ssl/{etcd.pem,etcd-key.pem} root@192.168.1.1:/etc/kubernetes/etcd
三.测试验证
这里我们选择192.168.1.1集群作为主集群，向集群写入数据：
[root@k8s001 ~]#ETCDCTL_API=3 etcdctl put 1 2 --endpoints=https://192.168.1.1:2379 --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem
# 查看数据是否写入成功
[root@k8s001 ~]#etcdctl get 1 --endpoints=https://192.168.1.1:2379 --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem
1
2
- 执行make-mirror同步数据
[root@k8s001 ~]#ETCDCTL_API=3 etcdctl make-mirror --no-dest-prefix=true https://192.168.1.2:2379 --endpoints=https://192.168.1.1:2
379 --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --dest-cacert=/etc/kubernetes/backup/ca.pem --dest-cert=/etc/kubernetes/backup/etcd.pem --dest-key=/etc/kubernetes/backup/etcd-key.pem
- 查看备集群数据是否同步成功
#可以看出etcd主集群数据已经同步到备集群中
[root@k8s002 ~]# ETCDCTL_API=3 etcdctl get 1 --endpoints=https://192.168.1.2:2379 --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem
1
2
说明：etcdctl make-mirror 代码里面数据同步打印的周期是30s一次。主集群挂掉后，可以通过切换域名的形式到备集群中，主集群恢复后，可以执行make-mirror从备集群向主集群同步数据。保证两个集群的数据一致。
说明：etcdctl make-mirror 代码里面数据同步打印的周期是30s一次。主集群挂掉后，可以通过切换域名的形式到备集群中，主集群恢复后，可以执行make-mirror从备集群向主集群同步数据。保证两个集群的数据一致。