k8s学习（九）-- 集群安全机制

学习目标：集群的认证鉴权访问控制原理及流程

一、认证：

　　A、HTTP Token认证：通过一个Token来识别合法用户。

　　　　1. HTTP Token的认证是用一个很长的特殊编码方式的并且难以被模仿的字符串-token来表达客户的一种方式。Token是一个很长很复杂的字符串，每一个token对应一个用户名存储在API Server能访问的文件中。当客户端发起API调用请求的时候，需要在HTTP Header里放入token。

　　B、 HTTP Base认证：通过用户名+密码的方式认证

　　　　1. 用户名+密码使用base64算法进行编码后的字符串放在HTTP Request中的Header Authorization域里发送给服务端，服务端收到后进行编码，获取用户名和密码

　　C、最严格的HTTPS证书认证：基于CA根证书签名的客户端身份认证方式

二、需要认证的节点

　　A、两种类型

　　　　1. kubernetes组件对API Server的访问：kubectl、Controller Manager、Scheduler、kubelet、kube-proxy

　　　　2. kubernetes管理的pod对容器的访问：pod(dashboard是以pod形式运行)

　　B、安全性说明

　　　　1. Controller Manager、Scheduler与API Server在同一台机器，所以直接使用API Server的非安全端口访问， --insecure-bind-address=127.0.0.1

　　　　2. kubectl、kubelet、kube-proxy访问API Server就需要证书进行HTTPS双向认证

　　　　3. 证书颁发

　　　　　　a. 手动签发：通过k8s集群的根ca进行签发HTTPS证书

　　　　　　b. 自动签发：kubelet首次访问API Server时，使用token做认证，通过后，Controller Manager会为kubelet生成一个证书，以后的访问都是用证书做认证了。

　　C、kubeconfig

　　　　1. kubeconfig文件包含集群参数（CA证书、API Server地址），客户端参数（上面生成的证书和私钥），集群context信息（集群名称，用户名）。kubernetes组件通过启动时指定不同的kubeconfig文件可以切换到不同集群。

　　D、ServiceAccount

　　　　1. Pod中的容器访问API Server。因为Pod的创建、销毁是动态的，所以要为它手动生成证书就不可行了。kubernetes使用了ServiceAccount解决pod访问apiserver的认证问题。

　　E、Secret和SA之间的关系

　　　　1. kubernetes设计了一种资源对象叫做Secret，分为两类，一种是用于ServiceAccount的service-account-token，另一种是用于保存用户自定义保密信息的Opaque。ServiceAccount中用到包含三个部分：Token、ca.crt、namespace

　　　　　　a. token是使用api server私钥签名的JWT。用于访问API Server，Server端认证。

　　　　　　b. ca.crt，根证书用于Clien端验证API Server发送的证书。

　　　　　　c. namespace，标识这个server-account-token的作用域空间

　　　　　　e. kubectl get secrets --all-namespace

　　　　　　　　kubectl describe secret default-token-59mfg --namespace-kube-system

　　　　　　f. 默认情况下每个namespace都会有一个ServiceAccount，如果Pod在创建时没有指定ServiceAccount,就会使用Pod所属的namespace的ServiceAccount

　　　　　　　　默认挂载目录：/run/secrets/kubernetes.io/serviceaccount/
　　F、总结

三、鉴权（Authorization）

　　A、上面认证过程，只是确认了通信的双方是可信的，可以互相通信。而鉴权是确定请求方有哪些资源的权限。API Server目前支持以下几种授权策略（通过API Server的启动参数“--authorization-mode”设置）

　　　　1. AlwaysDeny：表示拒绝所有请求，一般用于测试

　　　　2. AlwaysAllow：允许接收所有请求，如果集群不需要授权流程，则可以采用该策略。

　　　　3. ABAC（Attribute-Based Access Control）：基于属性的访问控制，表示使用用户配置的授权规则对用户进行匹配和控制

　　　　4. webbook：通过调用外部的REST服务对用户进行授权

　　　　5. RBAC（Role-Based Access Control）：基于角色的访问控制，现行默认　

　　B、RBAC授权模式

　　　　1. RBAC的API资源对象说明

　　　　　　RBAC引入了4个新的顶级资源对象：Role、ClusterRole、RoleBinding、ClusterRoleBinding，4中对象类型均可以通过kubectl和API操作

　　　　2. kubernetes组件（kubectl、kube-proxy）或是其它自定义的用户在向CA申请证书的时候，需要提供一个证书请求文件

　　　　　　API Server会把客户端的CN字段作为User，把names.O字段作为组Group

　　C、Role和ClusterRole

　　　　1. Role要定义在一个namespace中，如果想要跨namespac则可以创建ClusterRole

　　　　　　kind: Role

　　　　　　apiVersion: rbac.authorization.k8s.io/v1beta1

　　　　　　metadata:

　　　　　　　　namespace: default

　　　　　　rules:

　　　　　　　　- apiGroups: [""] # ""代表API核心组

　　　　　　　　 resources: ["pods"]

　　　　　　　　 verbs: ["get", "watch","list"]

　　　　2. ClusterRole和Role具有相同的权限角色控制能力，不同的是ClusterRole是集群级别的，ClusterRole可以用于：

　　　　　　a. 集群级别的资源控制（例如node访问权限）

　　　　　　b. 非资源型endpoints（例如/healz访问）

　　　　　　c. 所有名称空间资源控制（如pods）

　　　　　　　　kind: ClusterRole

　　　　　　　　apiVersion: rbac.authorization.k8s.io/v1beta1

　　　　　　　　metadata:

　　　　　　　　　　# 这里不要定义namespace，因为ClusterRole是集群概念下的，不是名称空间概念下的

　　　　　　　　rules:

　　　　　　　　　　- apiGroup: [""]

　　　　　　　　　　 resources: ["secrets"]

　　　　　　　　　　 verbs: ["get","watch","list"]

　　D、RoleBind 和 ClusterRoleBinding

　　　　1. RoleBinding可以将角色中定义的权限授予用户或用户组，RoleBinding包含一组权限列表（subjects），权限列表中包含有不同形式的待授权资源类型（users，groups,or service account）；RoleBind同样包含对被Bind的Role的引用；RoleBinding适用于某个名称空间内授权，而ClusterRoleBinding适用于集群范围内额授权。

　　　　　　a. 例子

　　　　　　　　kind: RoleBinding

　　　　　　　　apiServer: rbac.authorization.k8s.io/v1beta1

　　　　　　　　metadata:

　　　　　　　　　　namespace: default

　　　　　　　　subjects:

　　　　　　　　　　- kind: User

　　　　　　　　　　 apiGroup: rbac.autorization.k8s.io

　　　　　　　　roleRef:

　　　　　　　　　　kind: Role

　　　　　　　　　　apiGroup: rbac.authorization.k8s.io

　　　　2. RoleBing同样可以引用ClusterRole来对当前namespace内用户、用户组或ServiceAccount进行授权，这种操作允许集群管理员在整个集群内定义一些通用的ClusterRole，然后在不同的namespace中使用RoleBinding来引用。

　　　　　　a. 例子

　　　　　　　　kind: RoleBinding

　　　　　　　　apiVersion: rbac.authorization.k8s.io/v1beta1

　　　　　　　　metadata:

　　　　　　　　　　namespace: development #这只会给development名称空间下的授予权限

　　　　　　　　subjects:

　　　　　　　　　　- kind: User

　　　　　　　　　　 apiGroup: rbac.authorization.k8s.io

　　　　　　　　roleRef:

　　　　　　　　　　kind: ClusterRole

　　　　　　　　　　apiGroup: rbac.authorization.k8s.io

　　　　3. 使用ClusterRoleBinding可以对整个集群中的所有命名空间资源进行授权

　　　　　　a. 例子

　　　　　　　　kind: ClusterRoleBinding

　　　　　　　　apiVersion: rbac.authorization.k8s.io/v1beta1

　　　　　　　　metadata:

　　　　　　　　subjects:

　　　　　　　　　　- kind: Group

　　　　　　　　　　 apiGroup: rbac.authorization.k8s.io

　　　　　　　　roleRef:

　　　　　　　　　　kind: ClusterRole

　　　　　　　　　　apiGroup: rbac.authorization.k8s.io

　　F、Resources

　　　　1. Kubernetes集群内一些资源一般以其名称字符串来表示，这些字符串一般会在API的URL地址中出现；同时某些资源也会包含子资源，例如logs资源就属于pods的子资源，API中的URL样例如下

　　　　　　GET /api/v1/namespaces/{namespace}/pods/{pod}/log

　　　　2. 如果要在RBAC授权模式中控制这些子资源的访问权限，可以通过/分隔符来实现，一下是一个定义pods资源logs访问权限的Role定义样例

　　　　　　kind: Role

　　　　　　apiVersion: rbac.authorization.k8s.io/v1beta1

　　　　　　metadata:

　　　　　　　　namespace: default

　　　　　　rules:

　　　　　　　　- apiGroup: [""]

　　　　　　　　 resources: ["pods","pods/log"]

　　　　　　　　 verbs: ["get","list"]

　　G、to Subjects

　　　　1. RoleBinding和ClusterRoleBinding可以将Role绑定到Subjects；Subjects可以是groups、users、或者service accounts

　　　　2. Subjects中Users和Groups的前缀system是系统保留的，集群管理员应该确保普通用户不会使用这个前缀

　　H、实验：创建一个用户只能管理dev空间

　　　　1. user add devuser

　　　　2. passwd devuser

　　　　3. cd /usr/local/install-k8s/ && mkdir cert && cd cert && vim devuser-csr.json　　　

　　　　　　{
　　　　　　　　"CN": "devuser",
　　　　　　　　"hosts": [],
　　　　　　　　"key": {
　　　　　　　　　　"algo": "rsa",
　　　　　　　　　　"size": 2048
　　　　　　　　},
　　　　　　　　"names": [
　　　　　　　　　　{
　　　　　　　　　　　　"C": "CN",
　　　　　　　　　　　　"ST": "BeiJing",
　　　　　　　　　　　　"L": "BeiJing",
　　　　　　　　　　　　"O": "k8s",
　　　　　　　　　　　　"OU": "System"
　　　　　　　　　　}
　　　　　　　　]
　　　　　　}

　　　　4. 下载证书工具到/usr/local/bin下：

　　　　　　a. wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64

　　　　　　　　mv cfssl_linux-amd64 cfssl

　　　　　　b. wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64

　　　　　　　　mv cfssljson_linux-amd64 cfssljson

　　　　　　c. wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64

　　　　　　　　mv cfssl-certinfo_linux-amd64 cfssl-certinfo

　　　　　　d. cd /etc/kubernetes/pki/

　　　　　　f. cfssl gencert -ca=ca.crt -ca-key=ca.key -profile=kubernetes /usr/local/install-k8s/cert/devuser/devuser-csr.json | cfssljson -bare devuser

　　　　5. 设置集群参数

　　　　　　a. export KUBE_APISERVER="https://192.168.66.10:6443"

　　　　　　b. kubectl config set-cluster kubernetes --certificate-authority=/etc/kubernetes/pki/ca.crt --embed-certs=true --server=${KUBE_APISERVER} --kubeconfig=devuser.kubeconfig

　　　　6. 设置客户端认证参数

　　　　　　a. kubectl config set-credentials devuser --client-certificate=/etc/kubernetes/pki/devuser.pem --client-key=/etc/kubernetes/pki/devuser-key.pem --embed-certs=true --kubeconfig=devuser.kubeconfig

　　　　7. 设置上下文参数

　　　　　　a. kubectl config set-context kubernetes --cluster=kubernetes --user=devuser --namespace=dev --kubeconfig=devuser.kubeconfig

　　　　8. 设置默认上下文

　　　　　　c. 创建一个rolebinding将admin角色绑定至dev名称空间下的devuser：kubectl create rolebinding devuser-admin-binding --clusterrole=admin --user=devuser --namespace=dev

　　　　　　e. 将devuser.kubeconfig拷贝至devuser下.kube目录下: cp devuser.kubeconfig /home/devuser/.kube/

　　　　　　f. 改变devuser.kubeconfig的所有者为devuser组下的devuser: chown devuser:devuser /home/devuser/.kube/devuser.kubeconfig

　　　　　　g. 将devuser.kubeconfig文件名修改为config: mv devuser.kubeconfig config

　　　　　　h. 切换上下文：kubectl config use-context kubernetes --kubeconfig=/home/devuser/.kube/config

四、准入控制

　　A、准入控制是Api Server的插件集合，通过添加不同的插件，实现额外的准入控制规则。甚至API Server的一些主要功能都需要通过Admission Controllers实现，比如ServiceAccount，官方文档上有一份针对不同版本的准入控制器推荐列表。

　　B、列举几个插件的功能

　　　　1. NamespaceLifeCycle：防止在不存在的namespace上创建对象，防止删除系统预置的namespace，删除namespace时，连带删除它的所有资源对象。

　　　　2. LimitRanger：确保请求的资源不会超过资源所在的Namespace的LimitRange

　　　　3. ServiceAccount：实现了自动化添加ServiceAccount

　　　　4. ResourceQuota：确保请求资源不会超过资源的ResourceQuota限制