在一次kubernetes的升级过程中，由于之前欠下的技术债务，导致在删除etcd节点时没有把etcd中的成员删除，虽然安装的程序已经删除了，但是etcd集群中通过etcdctl member list还是能看到已删除的节点，而这次升级时候，又删除了了一台etcd节点，刚好etcd节点的节点存活数低于一半了。这是原因
那么针对这种事故该如何处理呢，这里给出个思路，利用etcd的故障恢复，恢复一下具体操作如下
etcd 备份
利用已存活的etcd做个备份
mkdir -p backup/k8s
ETCDCTL_API=3 /root/local/bin/etcdctl snapshot save snapshot.db
修改集群启动参数，强制把集群作为一个新集群启动
找一个最后存活的机子作为节点，然后强制开启一个单节点集群来处理，
vim /etc/systemd/system/etcd.service [Unit] Description=Etcd Server After=network.target After=network-online.target Wants=network-online.target Documentation=https://github.com/coreos [Service] Type=notify WorkingDirectory=/var/lib/etcd/ ExecStart=/root/local/bin/etcd --name=etcd1 --cert-file=/etc/etcd/ssl/etcd.pem --key-file=/etc/etcd/ssl/etcd-key.pem --peer-cert-file=/etc/etcd/ssl/etcd.pem --peer-key-file=/etc/etcd/ssl/etcd-key.pem --trusted-ca-file=/etc/kubernetes/ssl/ca.pem --peer-trusted-ca-file=/etc/kubernetes/ssl/ca.pem --initial-advertise-peer-urls=https://10.100.100.11:2380 --listen-peer-urls=https://10.100.100.11:2380 --listen-client-urls=https://10.100.100.11:2379,http://127.0.0.1:2379 --advertise-client-urls=https://10.100.100.11:2379 --initial-cluster-token=etcd-cluster-0 --initial-cluster=etcd1=https://10.100.100.11:2380 --initial-cluster-state=new --data-dir=/var/lib/etcd --force-new-cluster Restart=on-failure RestartSec=5 LimitNOFILE=65536 [Install] WantedBy=multi-user.target
--force-new-cluster 通过这个新加的参数把11这个节点重置为单节点集群，
systemctl daemon-reload && systemctl restart etcd
重启服务后，通过
export ETCDCTL_API=3
etcdctl member list
会看到如下信息
60a005e7c128069f, started, etcd1, https://10.100.100.11:2380, https://10.100.100.11:2379
说明当前节点已经起来了，然后，通过再把其他的节点添加上即可
ETCDCTL_API=3 /root/local/bin/etcdctl member add etcd3 --peer-urls=https://10.100.100.16:2380
添加后去16节点上启动服务，启动服务前删除16节点上的数据目录
rm -rf /var/lib/etcd/*
然后重启，其他的节点都按这种方式来恢复即可。