HDFS 常用命令

参考链接

　　http://segmentfault.com/a/1190000002672666

1.ls

 列出hdfs文件系统根目录下的目录和文件

hadoop@Master:~$ hadoop fs -ls  /
Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2015-07-10 13:53 /hbase
drwx-wx-wx   - hadoop supergroup          0 2015-07-11 17:21 /tmp
drwxr-xr-x   - hadoop supergroup          0 2015-07-11 15:55 /user

 列出hdfs文件系统所有的目录和文件

hadoop@Master:~$ hadoop fs -ls -R /
drwxr-xr-x   - hadoop supergroup          0 2015-07-10 13:53 /hbase
drwxr-xr-x   - hadoop supergroup          0 2015-07-10 13:53 /hbase/.tmp
drwxr-xr-x   - hadoop supergroup          0 2015-07-10 13:53 /hbase/MasterProcWALs
-rw-r--r--   4 hadoop supergroup          0 2015-07-10 13:53 /hbase/MasterProcWALs/state-00000000000000000021.log
drwxr-xr-x   - hadoop supergroup          0 2015-07-10 13:53 /hbase/

2.put

hdfs file的父目录一定要存在，否则命令不会执行,其实只是上传一个文件，重名了名而已

# hadoop fs -put < local file > < hdfs file >

hadoop@Master:~$ hadoop fs -put 1.txt /tmp/2.txt

# hadoop fs -put  < local file or dir >...< hdfs dir >

hadoop@Master:~$ hadoop fs -put 1.txt /tmp/

从键盘读取输入到hdfs file中，按Ctrl+D结束输入，hdfs file不能存在，否则命令不会执行

＃hadoop fs -put - < hdsf  file>

hadoop@Master:~$ hadoop fs -put - /tmp/testfile
我老家在要远的中国农村
hadoop@Master:~$

2.1.moveFromLocal

与put相类似，命令执行后源文件 local src 被删除，也可以从从键盘读取输入到hdfs file中

# hadoop fs -moveFromLocal  < local src > ... < hdfs dst >

hadoop@Master:~$ hadoop fs -moveFromLocal 1.txt /tmp/
moveFromLocal: `/tmp/1.txt': File exists
hadoop@Master:~$ hadoop fs -moveFromLocal 1.txt /tmp/3.txt

2.2.copyFromLocal

　这个和前面的moveFromLocal 不同的是复制本地文件到hdfs file，但是本地会保留源文件

# hadoop fs -copyFromLocal  < local src > ... < hdfs dst >

hadoop@Master:~$ hadoop fs -copyFromLocal derby.log /tmp/derby2.log
hadoop@Master:~$ ls
derby.log hadoop.tar.gz hbase-1.1.0.1 jdk-7u80-linux-x64.tar.gz jdk-8u45-linux-x64.tar.gz jdk1.8.0_45 metastore_db user wz
hadoop@Master:~$

3.get

local file不能和 hdfs file名字不能相同，否则会提示文件已存在，没有重名的文件会复制到本地

hadoop fs -get < hdfs file > < local file or dir>

hadoop fs -get < hdfs file or dir > ... < local  dir >