hdfs经常使用命令

hadoop hdfs经常使用命令

hadoop fs -ls /user/deploy/recsys/workspace/ouyangyewei
查看ouyangyewei文件夹文件

hadoop fs -mkdir /user/deploy/recsys/workspace/ouyangyewei/input
在ouyangyewei文件夹下创建input文件夹

hadoop fs -rm /user/deploy/recsys/workspace/ouyangyewei/input/input.txt
删除input.txt文件

hadoop fs -rmr /user/deploy/recsys/workspace/ouyangyewei/input
删除input文件夹以及文件夹下的全部文件

hadoop fs -put ./input.txt /home/deploy/recsys/workspace/ouyangyewei/input
把当前文件夹下的input.txt文件拷贝到input文件夹下

hadoop fs -put /home/pms/ouyangyewei/data/categoryLevel3.txt /user/pms/ouyangyewei/input/category_level
将本地server上的categoryLevel.txt文件移动到hdfs上

hadoop fs -dus /data/share/trackinfo/ds=2014-05-12
查看文件 “/data/share/trackinfo/ds=2014-05-12”的大小(以字节为单位)

hadoop jar recommender-dm-1.0-SNAPSHOT-lib.jar com.yhd.ml.statistics.click.WordCount /home/deploy/recsys/workspace/ouyangyewei/input /home/deploy/recsys/workspace/ouyangyewei/output
执行Job,指定的jar包是recommender-dm-1.0-SNAPSHOT-lib.jar,主类是com.yhd.ml.statistics.click.WordCount,输入文件夹是input,输出文件夹是output

hadoop job -kill job_201403291618_274044
杀掉hadoop的job

原文地址:https://www.cnblogs.com/hrhguanli/p/3843985.html