杂碎记录

free -h 查看liunx内存使用情况

df -h 查看hadoop中空间占用命令

du -h -x --max-depth=1  查看当前路径下哪个目录占用过高

hadoop dfsadmin -report   //检查hadoop的使用情况

hdfs修复 

hadoop命令fsck命令        在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。

具体命令介绍:

-move: 移动损坏的文件到/lost+found目录下
-delete: 删除损坏的文件
-openforwrite: 输出检测中的正在被写的文件
-list-corruptfileblocks: 输出损坏的块及其所属的文件
-files: 输出正在被检测的文件
-blocks: 输出block的详细报告 (需要和-files参数一起使用)
-locations: 输出block的位置信息 (需要和-files参数一起使用)
-racks: 输出文件块位置所在的机架信息(需要和-files参数一起使用)

例子:

hdfs debug recoverLease -path <path-of-the-file> -retries <retry times>

hdfs fsck / #检查集群的健康状态
hdfs debug recoverLease -path 文件位置 -retries 重试次数 #修复指定的hdfs数据块。也就是关闭打开的文件。

hadoop fsck /user -files -blocks -locations  //检查坏块

hadoop fsck /user openforwrite  //检查是否有数据块正在写入

原文地址:https://www.cnblogs.com/zyanrong/p/11045757.html