问题背景
使用华北地域的两台ECS服务器搭建了k8s1.11集群，可参考：阿里云ECS搭建kubernetes1.11
| 角色 | 主机名 | 私网 | 公网 | 公网类型 |
| master | node1.com | 172.31.2.130 | 120.27.2.2 | 固定公网 |
| node | node2.com | 172.31.2.131 | 120.27.2.3 | 固定公网 |
原k8s集群节点之间使用私网通信，节点本地hosts解析如下。
node1.com 172.31.2.130
node2.com 172.31.2.131
现华东地区有一新的ECS实例，主机名为harbor（因为这个节点装了harbor），希望加入上述集群，新节点信息如下表格
备注：
node1.com和node2.com之间私网通，node1.com、node2.com的私网与harbor节点私网不通。三个节点公网可正常通信。上述ip非真实ip
| 角色 | 主机名 | 私网 | 公网 | 公网类型 |
| node | harbor | 10.1.75.3 | 47.110.11.34 | 弹性公网 |
使用kubeadm加入节点
#参考上一篇集群安装方法添加计算节点：阿里云ECS搭建kubernetes1.11
#在harbor节点配置node1.com的解析为node1的公网ip
echo "120.27.2.2 node1.com" >> /etc/hosts
#获取加入集群需要使用的hash值 openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //' #获取加入集群需要使用的token值 kubeadm token list #如果上述命令没有token，说明已过期，通过如下命令重新生成 kubeadm token create #使用kubeadm加入集群 kubeadm join node1.com:6443 --token <token> --discovery-token-ca-cert-hash sha256:<hash>
#报无法从master下载kubelet配置文件，如下
[kubelet] Downloading configuration for the kubelet from the "kubelet-config-1.11" ConfigMap in the kube-system namespace
Get https://172.31.2.130:6443/api/v1/namespaces/kube-system/configmaps/kubelet-config-1.11: dial tcp 172.31.2.130:6443: i/o timeout
#上述报错信息表明，可见新增节点需要与node1.com节点的私网172.31.2.130进行通信(节点的kubelet服务需要定期上报节点状态给master)
解决思路
#思路一：node节点中，是哪里指定了与master通信的ip？找到并尝试修改这个ip为公网ip
#查看/etc/kubernetes/bootstrap-kubelet.conf文件，文件中指定了master的ip地址为私网ip，但是该文件无法直接修改（修改之后执行kubeadm join会立即恢复）
#思路二：重新安装k8s集群，集群之间节点使用公网通信，方案应该可行，由于需要重新安装集群，暂且不考虑。
#思路三：新增节点harbor与node1私网虽然不通，但是公网之间是通的，考虑NAT，可以把从harbor节点中发出的目的ip地址为172.31.2.130的数据包在流向网络前进行DNAT转换，既将目的地址转换为node1的公网ip 120.27.2.2即可
#iptables操作表nat的OUTPUT链，进行DNAT
iptables -t nat -A OUTPUT -d 172.31.2.130 -p tcp -j DNAT --to-destination 120.27.2.2
#为什么是在nat表的OUTPUT添加DNAT规则，可参考下表
#从本地应用发出的数据包所经过的链在表nat的部分只有nat:OUTPUT和nat:POSTROUTING，而DNAT这个动作只允许PREROUTING/OUTPUT
ip_tables: DNAT target: used from hooks POSTROUTING, but only usable from PREROUTING/OUTPUT
#在harbor节点测试node1私网端口6443是否通
telnet 172.31.2.130 6443
#通过上述kubeadn join方法重新加入节点成功
#查看pod状态，发现部署在harbor节点的Kube-flannel容器不断失败重启，如下
#在node1通过kubectl logs查看CrashLoopBackOff的flannel容器，报连接10.1.75.3:10250 timeout（10.1.75.3为harbor节点的私网，10250为kubelet服务监听的端口）
#参考上述DNAT，node1节点通过kubectl logs来获取harbor节点上跑的容器kube-flannel-ds-78wtf时需要与harbor节点的kubelet通信以获取日志，由于连接使用harbor私网，同样需要在node1节点做DNAT，如下
iptables -t nat -A OUTPUT -d 10.1.75.3 -p tcp -j DNAT --to-destination 47.110.11.34
#在node1添加完上述iptables规则后，通过kubectl logs查看pod日志如下：harbor节点的flannel容器连接api-server超时（10.96.0.1为kube-apiserver的cluster ip）
#由于kube-flannel pod不ready，所以调度到harbor节点的pod一直处于ContainerCreating状态，通过describe pod，报network cni plugin not found
#
遗留问题：pod ip不通；cluster ip不通