二进制包安装Kubernetes集群环境完整版

Kubernetes 概述

1. Kubernetes是什么

Kubernetes是Google在2014年开源的一个容器集群管理系统，Kubernetes简称K8S。
K8S用于容器化应用程序的部署，扩展和管理。
K8S提供了容器编排，资源调度，弹性伸缩，部署管理，服务发现等一系列功能。
Kubernetes目标是让部署容器化应用简单高效。

官方网站：http://www.kubernetes.io

2. Kubernetes特性

自我修复
在节点故障时重新启动失败的容器，替换和重新部署，保证预期的副本数量；杀死健康检查失败的容器，并且在未准备好之前不会处理客户端请求，确保线上服务不中断。
弹性伸缩
使用命令、UI或者基于CPU使用情况自动快速扩容和缩容应用程序实例，保证应用业务高峰并发时的高可用性；业务低峰时回收资源，以最小成本运行服务。
自动部署和回滚
K8S采用滚动更新策略更新应用，一次更新一个Pod，而不是同时删除所有Pod，如果更新过程中出现问题，将回滚更改，确保升级不受影响业务。
服务发现和负载均衡
K8S为多个容器提供一个统一访问入口（内部IP地址和一个DNS名称），并且负载均衡关联的所有容器，使得用户无需考虑容器IP问题。
机密和配置管理
管理机密数据和应用程序配置，而不需要把敏感数据暴露在镜像里，提高敏感数据安全性。并可以将一些常用的配置存储在K8S中，方便应用程序使用。
存储编排
挂载外部存储系统，无论是来自本地存储，公有云（如AWS），还是网络存储（如NFS、GlusterFS、Ceph）都作为集群资源的一部分使用，极大提高存储使用灵活性。
批处理
提供一次性任务，定时任务；满足批量数据处理和分析的场景。

3. Kubernetes集群架构与组件

Master组件

kube-apiserver Kubernetes API 集群的统一入口，各组件协调者，以 RESTful API提供接口服务，所有对象资源的增删改查和监听操作都交给APIServer处理后再提交给Etcd存储。
kube-controller-manager 处理集群中常规后台任务，一个资源对应一个控制器，而 ControllerManager就是负责管理这些控制器的。
kube-scheduler 根据调度算法为新创建的Pod选择一个Node节点，可以任意部署,可以部署在同一个节点上,也可以部署在不同的节点上。
etcd 分布式键值存储系统。用于保存集群状态数据，比如Pod、 Service等对象信息。

Node组件

kubelet kubelet 是Master在Node节点上的Agent，管理本机运行容器的生命周期，比如创建容器、Pod挂载数据卷、下载secret、获取容器和节点状态等工作。
kubelet 将每个Pod转换成一组容器。
kube-proxy 在Node节点上实现Pod网络代理，维护网络规则和四层负载均衡工作。 docker或rocket 容器引擎，运行容器

4. Kubernetes核心概念

Pod

最小部署单元
一组容器的集合
一个Pod中的容器共享网络命名空间
Pod是短暂的

Controllers

ReplicaSet ：确保预期的Pod副本数量
Deployment ：无状态应用部署
StatefulSet ：有状态应用部署
DaemonSet ：确保所有Node运行同一个Pod
Job ：一次性任务
Cronjob ：定时任务
更高级层次对象，部署和管理Pod

Service

防止Pod失联
定义一组Pod的访问策略

Label

标签，附加到某个资源上，用于关联对象、查询和筛选

Namespace

命名空间，将对象逻辑上隔离

搭建一个 Kubernetes 集群

1. 官方提供的三种部署方式

minikube

Minikube是一个工具，可以在本地快速运行一个单点的Kubernetes，尝试Kubernetes或日常开发的用户使用。不能用于生产环境。

官方地址：https://kubernetes.io/docs/setup/minikube/

kubeadm

Kubeadm也是一个工具，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群。

官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

二进制包

从官方下载发行版的二进制包，手动部署每个组件，组成Kubernetes集群。

小结：
生产环境中部署Kubernetes集群，只有Kubeadm和二进制包可选，Kubeadm降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。我们这里使用二进制包部署Kubernetes集群，我也是推荐大家使用这种方式，虽然手动部署麻烦点，但学习很多工作原理，更有利于后期维护。

2. Kubernetes集群环境规划

软件环境

软件	版本
操作系统	CentOS7.5_x64
Docker	18-ce
Kubernetes	1.12

服务器角色

角色	IP	组件
k8s-master	192.168.116.129	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
k8s-node1	192.168.116.130	kubelet，kube-proxy，docker，flannel，etcd
k8s-node2	192.168.116.131	kubelet，kube-proxy，docker，flannel，etcd

需要的软件和脚本，失效可联系我

链接: https://pan.baidu.com/s/1Vr8jOFgo4b8tQM9AUtXC_A 提取码: yhhn

架构图

3. HTTPS证书介绍

1、关闭selinux

 sed -i 's/enforcing/disabled/' /etc/selinux/config 
 setenforce 0

2、关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

3、关闭swap

swapoff -a

4、修改主机名

hostnamectl set-hostname 名字

5、同步时间

 yum install -y ntpdate && ntpdate time.windows.com

以上步骤可以参考下方链接

kubeadm部署Kubernetes（k8s）完整版详细教程

自签SSL证书

准备使用etcd-cert生成证书

上传cfssl.sh，运行脚本

生成下面两个文件，记住是tab补全查看

执行下面命令，生成两个文件

cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

cat > ca-csr.json <<EOF
{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

执行

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

cat etcd-cert.sh

cat > server-csr.json <<EOF
{
    "CN": "etcd",
    "hosts": [
    "192.168.116.129",
    "192.168.116.130",
    "192.168.116.131"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF

颁发证书

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

4. Etcd数据库集群部署

上传etcd安装包

【etcd-v3.3.10-linux-amd64.tar.gz】

解压

 tar zxvf etcd-v3.3.10-linux-amd64.tar.gz

为了方便安装，创建下面目录安装。

[root@master etcd-v3.3.10-linux-amd64]# mkdir -p  /opt/etcd/{cfg,bin,ssl}
[root@master etcd-v3.3.10-linux-amd64]# ls /opt/etcd/
bin  cfg  ssl
[root@master etcd-v3.3.10-linux-amd64]# mv etcd etcdctl /opt/etcd/bin/
[root@master etcd-v3.3.10-linux-amd64]# ls /opt/etcd/bin/
etcd  etcdctl

使用脚本部署etcd

chmod +x etcd.sh

运行脚本

./etcd.sh etcd01 192.168.116.129 etcd02=https://192.168.116.130:2380,etcd03=https://192.168.116.131:2380

可以查看etcd的运行服务文件

cat /usr/lib/systemd/system/etcd.service

拷贝证书

 cp /root/k8s/etcd-cert/{ca,server-key,server}.pem /opt/etcd/ssl/

启动etcd

systemctl start etcd

已经部署一个成功，但是还有两个机器没有部署etcd。需要把/opt/的etcd目录移到其余节点配置

还有/usr/lib/systemd/system/etcd.service这个配置文件

拷贝过去还需要修改配置文件才能启动。

vi /opt/etcd/cfg/etcd

这几个需要修改本机对于的ip

切忌要给下方的文件执行权限，不然会报错

/opt/etcd/bin

启动

systemctl daemon-reload

systemctl start etcd

已经完成启动

在node2也按照上方部署就行。

查看先前日志【没有报任何错误，已经成功搭建集群】

tail /var/log/messages -f

测试

/opt/etcd/bin/etcdctl --ca-file=/opt/etcd/ssl/ca.pem --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379"  cluster-health

5. Node安装Docker

安装依赖软件

yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装docker-ce

yum install docker-ce -y

配置docker加速器

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://bc437cce.m.daocloud.io

启动docker

 systemctl start docker

开机自启

systemctl enable docker

6. Flannel容器集群网络部署

Kubernetes网络模型设计基本要求：

一个Pod一个IP
每个Pod独立IP，Pod内所有容器共享网络（同一个IP）
所有容器都可以与所有其他容器通信
所有节点都可以与所有有容器通信

工作原理：

添加网段

/opt/etcd/bin/etcdctl --ca-file=/opt/etcd/ssl/ca.pem --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379" set /coreos.com/network/config  '{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'

/opt/etcd/bin/etcdctl --ca-file=/opt/etcd/ssl/ca.pem --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379" get /coreos.com/network/config

上传Flannel【在node上部署flannel】

方便管理flannel，创建下面文件

mkdir -p /opt/kubernetes/{bin,cfg,ssl}

使用flannel连接etcd形式执行脚本

 ./flannel.sh https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379

解压flannel-v0.10.0-linux-amd64.tar.gz

tar zxvf flannel-v0.10.0-linux-amd64.tar.gz

mv flanneld mk-docker-opts.sh /opt/kubernetes/bin/

启动flannel，成功

systemctl start flanneld

重启docker

systemctl restart docker

安装openssh-clients，把flannel的配置文件复制到Node2上。

 yum install -y openssh-clients

传输到Node2上

 scp -r /opt/kubernetes/ root@192.168.116.131:/opt/

scp /usr/lib/systemd/system/{flanneld,docker}.service root@192.168.116.131:/usr/lib/systemd/system/

在Node2上启动flanneld

 systemctl start flanneld
 systemctl start docker

7. 部署Master组件

1. kube-apiserver

2. kube-controller-manager

3. kube-scheduler

配置文件 -> systemd管理组件 -> 启动

上传Master

unzip master.zip

上传kubernetes-server-linux-amd64.tar.gz

 tar zxvf kubernetes-server-linux-amd64.tar.gz

创建安装目录，方便使用

 mkdir -p /opt/kubernetes/{bin,cfg,ssl}

来到/root/k8s/soft/kubernetes/server/bin目录下拷贝文件

 cp kube-apiserver kube-controller-manager kube-scheduler /opt/kubernetes/bin/

执行apiserver.sh 【脚本 masterip etcd的ip】

./apiserver.sh 192.168.116.129 https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379

查看生成的配文件

cat /opt/kubernetes/cfg/kube-apiserver

上传k8s-cert.sh，生成证书

 bash k8s-cert.sh

复制证书到/opt/kubernetes/ssl/里

cp ca.pem ca-key.pem server.pem server-key.pem /opt/kubernetes/ssl/

上传token配置文件，生成token。

BOOTSTRAP_TOKEN=0fb61c46f8991b718eb38d27b605b008

cat > token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
EOF

生成token.csv

文件移动

mv token.csv /opt/kubernetes/cfg/

启动kube-apiserver

systemctl restart kube-apiserver

查看监听端口

[root@master k8s-cert]# netstat -ano | grep 8080
tcp        0      0 127.0.0.1:8080          0.0.0.0:*               LISTEN      off (0.00/0/0)
[root@master k8s-cert]# netstat -ano | grep 6443
tcp        0      0 192.168.116.129:6443    0.0.0.0:*               LISTEN      off (0.00/0/0)
tcp        0      0 192.168.116.129:44594   192.168.116.129:6443    ESTABLISHED keepalive (9.93/0/0)
tcp        0      0 192.168.116.129:6443    192.168.116.129:44594   ESTABLISHED keepalive (109.64/0/0)

运行controller-manager.sh

 ./controller-manager.sh 127.0.0.1
./scheduler.sh 127.0.0.1

[root@master k8s]# ls
apiserver.sh  controller-manager.sh  etcd-cert  etcd.sh  flannel.sh  k8s-cert  master.zip  scheduler.sh  soft
[root@master k8s]# ./controller-manager.sh 127.0.0.1
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-controller-manager.service to /usr/lib/systemd/system/kube-controller-manager.service.
[root@master k8s]# ./scheduler.sh 127.0.0.1
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-scheduler.service to /usr/lib/systemd/system/kube-scheduler.service.

创建kubectl管理工具

 cp kubectl /usr/bin/

查看集群健康状态

 kubectl get cs

查看资源名字简写

kubectl api-resources

8. 部署Node组件

1. 将kubelet-bootstrap用户绑定到系统集群角色

kubectl create clusterrolebinding kubelet-bootstrap 
--clusterrole=system:node-bootstrapper 
--user=kubelet-bootstrap

2. 创建kubeconfig文件

#----------------------

APISERVER=$1
SSL_DIR=$2
#需要先前创建的token
BOOTSTRAP_TOKEN=0fb61c46f8991b718eb38d27b605b008

# 创建kubelet bootstrapping kubeconfig 
export KUBE_APISERVER="https://$APISERVER:6443"

# 设置集群参数
kubectl config set-cluster kubernetes 
  --certificate-authority=$SSL_DIR/ca.pem 
  --embed-certs=true 
  --server=${KUBE_APISERVER} 
  --kubeconfig=bootstrap.kubeconfig

# 设置客户端认证参数
kubectl config set-credentials kubelet-bootstrap 
  --token=${BOOTSTRAP_TOKEN} 
  --kubeconfig=bootstrap.kubeconfig

# 设置上下文参数
kubectl config set-context default 
  --cluster=kubernetes 
  --user=kubelet-bootstrap 
  --kubeconfig=bootstrap.kubeconfig

# 设置默认上下文
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

#----------------------

# 创建kube-proxy kubeconfig文件

kubectl config set-cluster kubernetes 
  --certificate-authority=$SSL_DIR/ca.pem 
  --embed-certs=true 
  --server=${KUBE_APISERVER} 
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy 
  --client-certificate=$SSL_DIR/kube-proxy.pem 
  --client-key=$SSL_DIR/kube-proxy-key.pem 
  --embed-certs=true 
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default 
  --cluster=kubernetes 
  --user=kube-proxy 
  --kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

执行脚本

 bash kubeconfig.sh 192.168.116.129 /root/k8s/k8s-cert/

把这两个文件拷贝到2个Node的/opt/kubernetes/cfg/

scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.116.130:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.116.131:/opt/kubernetes/cfg/

3. 部署kubelet，kube-proxy组件

上传node包

把matser里面的kubelet和kube-poxy拷贝过来

scp kubelet kube-proxy root@192.168.116.130:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.116.131:/opt/kubernetes/bin/

运行 kubelet.sh

 bash kubelet.sh 192.168.116.130

Master节点颁发csr

kubectl get csr

kubectl certificate approve node-csr-96wka1dqU6bV1MMXD1nNUw14Av8NU6H6IW11ecJlYM0

运行proxy.sh

bash proxy.sh 192.168.116.130

9. 部署多个Node操作

复制粘贴Node1已经部署好的文件

scp -r /opt/kubernetes/ root@192.168.116.131:/opt/

scp /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@192.168.116.131:/usr/lib/systemd/system/

删除复制过来的证书

修改Node2上配置文件的IP地址

修改完毕，重启即可。

[root@node2 cfg]# systemctl restart kubelet
[root@node2 cfg]# systemctl restart kube-proxy
[root@node2 cfg]# ps -ef | grep kube

去Master节点颁发证书

kubectl certificate approve node-csr-96wka1dqU6bV1MMXD1nNUw14Av8NU6H6IW11ecJlYM0