harbor使用一段时间后，出现假死现象 或者
pull / build 报错no space left on device 或者
执行build提示构建镜像成功，但是docker images看不到镜像信息，此时很有可能就是docker磁盘空间满了
排查及解决如下：
查看docker镜像存放目录空间大小 du -hs /var/lib/docker/ 查看磁盘容量大的空间，且在上面创建新的docker目录。 df -h mkdir -p opt/data/lib 停止docker服务。 systemctl stop docker 迁移/var/lib/docker目录下的文件到新创建的目录/data/docker/lib rsync -avz /var/lib/docker opt/data/lib 编辑 /etc/docker/daemon.json 添加如下参数 vi /etc/docker/daemon.json { "graph": "opt/data/docker/lib/docker" } systemctl daemon-reload && systemctl restart docker 验证 docker info
常见docker清理方法
docker system df 类似于Linux上的df命令，用于查看Docker的磁盘使用情况:
docker system prune 可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络，以及dangling镜像(即无tag的镜像)。
docker system prune -a 清理得更加彻底，可以将没有容器使用Docker镜像都删掉。注意，这两个命令会把你暂时关闭的容器，以及暂时没有用到的Docker镜像都删掉了
k8s、etcd由于磁盘没有空间瘫痪问题排查
集群空间沾满问题处理 首先空间迁移方案：软连接 默认docker 及 kubelet目录：/var/lib/ 下，我们将其都迁移到，。/opt下的某个目录下： # mv /var/lib/docker /var/lib/docker-bak 建立软连接 # ln -s 源文件 目标文件 问题：删除原来的数据时报错Device or resource busy 原因：docker/kubelet挂载的问题，导致文件无法删除， 解决方案： 执行命令 # mount 找到包含原来/var/lib/docker /var/lib/kubelet # umount /var/lib/docker-bak/overlay2/bcb3739ab39e056b12f4d7f86caff5f500cb43b2f29a180871e8b566e18016dd/merged #rm -rf /var/lib/docker-bak/* 至此迁移成功 过段时间发现系统盘还是满了，排查思路： # du -h --max-depth=1 / 盘下最大的目录 >> /var # du -h --max-depth=1 /var/ >> /var/log # cd /var/log # ll -h #message 日志文件非常大，所以好奇看一下，发下就是k8s的日志，可能是日志等级的问题，日志一直在刷新，平均一周的日质量在3G以上 #tail -n 100 message 定期删除个日志文件即可
所以etcd集群最好独立部署，面得忘记清理，k8s把磁盘占满，导致etcd集群无法运行，整个集群状态就崩了
最近有遇到系统盘被沾满，使用上面的措施并不能解决问题，关键是，du命令查看，根本没有用这么多，提供下面方法
上面的方法应该删除了文件，但是空间没有释放，重启可以解决，但不是最好的方法，
使用
lsof -w | grep deleted 查看所有被删除但没有释放的进程
kill pid 即可
看疗效真的下一跳瞬间从100-》30
附上k8s日志级别
--v=0 Generally useful for this to ALWAYS be visible to an operator. --v=1 A reasonable default log level if you don’t want verbosity. --v=2 Useful steady state information about the service and important log messages that may correlate to significant changes in the system. This is the recommended default log level for most systems. --v=3 Extended information about changes. --v=4 Debug level verbosity. --v=6 Display requested resources. --v=7 Display HTTP request headers. --v=8 Display HTTP request contents
