最近实践了利用k8s的storageclass,实现pvc的动态创建,绑定,特记录如下.
1 已经部署好的k8s集群和ceph集群.
2 创建ceph-secret,后面创建storageclass需要使用.
启动key后面的内容为ceph的admin用户的秘钥base64编码的结果
3 创建storageclass
其中 adminSecretName与上面创建的secret的名字对应, adminSecretNamespace为kube-system.
4 创建pvc,pvc里面引用创建出来的storageclass.
5 创建pod引用此pvc
6 创建deployment后,pod变为running状态
pod创建过程中的kube-controller-manager的日志输出,可以发现对应的pv_controller控制器的工作过程
对应的ceph pool自动创建了一个rbd image,kubectl可以看到自动创建的pv,并且已经bound到pod了
到pod运行的node节点,用lsblk可以看到rbd image已经挂载到pod里面
7 遇到的问题
7.1 RBAC导致的问题(system:kube-controller-manager用户缺少权限)
解决办法:按照报错提示授予对应的权限即可。
7.2 创建的secret 无法被pv_controller获取到的问题。
问题原因：之前ceph-secret定义到了default的namespace，导致pv_controller无法获取
解决办法：定义ceph-secret到kube-system的namespace即可。
7.3、创建的deployment无法autoscale
通过kubectl autoscale deployment my-nginx-pvc --min=2 --max=3扩容pod，发现pod一直在ContainerCreating状态。
问题原因：rbd类型的pv只能被一个pod可以读写挂载 ，一个rbd image挂载到pod后，image会加锁。
解决办法：使用支持多个pod同时读写挂载的pv类型，如nfs，或者使用stateful，每个pod各自挂载一个pv。
参考:
1 https://v1-8.docs.kubernetes.io/docs/concepts/storage/storage-classes/
2 https://v1-8.docs.kubernetes.io/docs/concepts/storage/persistent-volumes/