一 Taint/Toleration介绍：
1 一个例子：
我这里测试了一个rc，内容如下：
[root@k8s-master-01 practice]# cat my-nginx-rc.yaml apiVersion: v1 kind: ReplicationController metadata: name: my-nginx spec: replicas: 3 selector: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:latest ports: - containerPort: 80 restartPolicy: Always
[root@k8s-master-01 practice]# cat my-nginx-service.yaml apiVersion: v1 kind: Service metadata: name: my-nginx spec: selector: app: nginx ports: - name: http port: 80 targetPort: 80 protocol: TCP
[root@k8s-master-01 practice]# kubectl create -f my-nginx-rc.yaml replicationcontroller/my-nginx created [root@k8s-master-01 practice]# kubectl get pod NAME READY STATUS RESTARTS AGE my-nginx-7dkgz 1/1 Running 0 60s my-nginx-mq8rs 1/1 Running 0 60s my-nginx-rj67n 1/1 Running 0 60s [root@k8s-master-01 practice]# kubectl create -f my-nginx-service.yaml service/my-nginx created [root@k8s-master-01 practice]# kubectl get svc NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE my-nginx NodePort 10.103.32.111 <none> 80:30965/TCP 9s [root@k8s-master-01 practice]# kubectl describe pod my-nginx-7dkgz|grep -i node: Node: k8s-node-02/10.10.0.135 [root@k8s-master-01 practice]# kubectl describe pod my-nginx-mq8rs|grep -i node: Node: k8s-node-01/10.10.0.190 [root@k8s-master-01 practice]# kubectl describe pod my-nginx-rj67n|grep -i node: Node: k8s-node-02/10.10.0.135
说明：整个集群有三个master node和两个slave node，当运行三个nginx pod的时候，发现所有的容器都都跑在了slave node上，而三个master上却没有容器，这就是本课的内容了。
2 Taint/Toleration说明：
[root@k8s-master-01 practice]# kubectl describe node k8s-master-01|grep -i taints Taints: node-role.kubernetes.io/master:NoSchedule
在master节点上都能看到这个信息，这就是默认情况下master节点不能运行pod的原因。这正是Taint/Toleration机制。
taint：污点的意思。如果一个节点被打上了污点，那么pod是不允许运行在这个节点上面的，当然如果你可以容忍（Toleration），那可以运行。
为k8s-master-01打一个污点：
[root@k8s-master-01 practice]# kubectl taint nodes k8s-master-01 env=joint:NoSchedule node/k8s-master-01 tainted [root@k8s-master-01 practice]# kubectl describe node k8s-master-01|grep -i taints Taints: env=joint:NoSchedule
node-role.kubernetes.io/master:NoSchedule
上面这条污点规则意味着：当有新的pod需要调度时（不影响已经在k8s-master-01上运行的pod），k8s-master-01不参与。
如果有需求，当我调度新的pod时，想让它运行在这个节点上，就要设置容忍了：
还拿上面的例子：
kubectl taint nodes k8s-master-01 node-role.kubernetes.io/master-
node/k8s-master-01 untainted
注意后面有一个“-”，这条命令是指：移除所有以node-role.kubernetes.io/master为键的Taint.
[root@k8s-master-01 practice]# kubectl describe node k8s-master-01|grep -i taint Taints: env=joint:NoSchedule (只剩下这一条taint。) [root@k8s-master-01 practice]# kubectl create -f my-nginx-rc.yaml [root@k8s-master-01 practice]# kubectl get pod|grep my-nginx my-nginx-4xq2c 1/1 Running 0 55s my-nginx-979nf 1/1 Running 0 55s my-nginx-l2zv4 1/1 Running 0 55s my-nginx-qfkgk 1/1 Running 0 55s my-nginx-wj8qj 1/1 Running 0 55s my-nginx-zthhf 1/1 Running 0 55s [root@k8s-master-01 practice]# kubectl describe pod my-nginx-4xq2c|grep -i node: Node: k8s-node-02/10.10.0.135 [root@k8s-master-01 practice]# kubectl describe pod my-nginx-979nf|grep -i node: Node: k8s-node-01/10.10.0.190 [root@k8s-master-01 practice]# kubectl describe pod my-nginx-l2zv4|grep -i node: Node: k8s-master-01/10.10.0.170 [root@k8s-master-01 practice]# kubectl describe pod my-nginx-qfkgk|grep -i node: Node: k8s-node-02/10.10.0.135 [root@k8s-master-01 practice]# kubectl describe pod my-nginx-wj8qj|grep -i node: Node: k8s-node-01/10.10.0.190 [root@k8s-master-01 practice]# kubectl describe pod my-nginx-zthhf|grep -i node: Node: k8s-master-01/10.10.0.170
我们看见新的pod在toleration这个污点后就可以运行在了这台master node上了。
3 调度策略：
3.1 可以在同一个 node 上使用多个 taints ，也可以在同一个 pod 上使用多个 tolerations。
3.2 taints and tolerations 时类似一个过滤器：
对比一个 node 上所有的 taints
忽略掉和 pod 中 toleration 匹配的 taints
遗留下来未被忽略掉的所有taints将对pod产生effect，具体见下：
3.2.1 至少有 1 个未被忽略的 taint 且 effect 是 NoSchedule 时，则 k8s 不会将该 pod 调度到这个 node 上
3.2.2 至少有 1 个未被忽略的 taint 且 effect 是 PreferNoSchedule 时，则 k8s 将尝试不把该 pod 调度到这个 node 上
3.2.3 至少有 1 个未被忽略的 taint 且 effect 是 NoExecute 时，则 k8s 会立即将该 pod 从该 node 上驱逐（如果已经在该 node 上运行），
或着不会将该 pod 调度到这个 node 上（如果还没在这个 node 上运行）
3.4 我们上面使用的策略是：NoSchedule，其他的策略：
PreferNoSchedule：这意味着不是一个强制必须的调度策略（尽量不去满足不合要求的 pod 调度到 node 上来）
NoExecute：立刻移除已经运行的pod且新pod不会被调度到该节点上。
3.5 常见的写法：
3.5.1 下面两种写法等价：
tolerations: - key: "demo.test.com/app" operator: "Equal" value: "whoami" effect: "NoSchedule"
tolerations: - key: "demo.test.com/app" operator: "Exists" effect: "NoSchedule"
operator 默认值是 Equal 如果不指定的话
3.5.2：
key 为空且 operator 是 Exists 时，将匹配所有的 keys, values 和 effects ，这表明可以 tolerate 所有的 taint
3.6具体场景使用：
有下列三个taint：
kubectl taint nodes tvm-04 key1=value1:NoSchedule
kubectl taint nodes tvm-04 key1=value1:NoExecute
kubectl taint nodes tvm-04 key2=value2:NoSchedule
tolerations: - key: "key1" operator: "Equal" value: "value1" effect: "NoSchedule" - key: "key1" operator: "Equal" value: "value1" effect: "NoExecute"
上述场景中，
该 pod 不会调度到 node 上，因为第 3 个 taint 不满足
如果该 pod 已经在该 node 上运行，则不会被驱逐
通常而言，不能 tolerate 一个 effect 是 NoExecute 的 pod 将被立即驱逐，但是，通过指定可选的字段 tolerationSeconds 则可以规定该 pod 延迟到一个时间段后再被驱逐，例如：
tolerations:
- key: "key1"
operator: "Equal"
value: "value1"
effect: "NoExecute"
tolerationSeconds: 3600
也就是说，在 3600 秒后将被驱逐。但是，如果在这个时间点前移除了相关的 taint 则也不会被驱逐
注3：关于被驱逐，如果该 pod 没有其他地方可以被调度，也不会被驱逐出去（个人实验结果，请自行验证）