从零开始学Hadoop系列之File System命令一

1、Overview

  文件系统(FS)shell包含多种能直接与HDFS(Hadoop Distributed File System)及Hadoop支持的其他文件系统,例如Local FS,HFTP FS,S3 FS等进行直接交互的命令。FS shell由bin/hadoop fs <args>发起。

     所有的FS shell都将URI作为参数。URI的形式为:scheme://authority/path。HDFS的scheme为hdfs,Local FS的scheme为file。scheme和权限是可选的。如果没有指定shceme,则使用配置文件中的scheme。HDFS的文件或路径例如/parent/child可以简写为hdfs://namenodehost/parent/child或简写为/parent/child(考虑到配置设置指向hdfs://namenodehost)。

  大多数FS shell的命令与Unix命令类似。两者的差异在对每个命令说明时指出。错误信息将发送到stderr,输出信息发送到stdout。

      当使用HDFS时,hdfs和dfs是同义词。

      更多详细信息请参考命令手册

2 、appendToFile

  使用:hadoop fs –appendToFile <localsrc>  … <dst>

  功能:把本地的一个或多个文件添加append到目标文件系统。也可以从stdin追加到目标文件系统。

  Example:

  • hadoop fs –appendToFile localfile /user/hadoop/hadoopfile
  • hadoop fs –appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
  • hadoop fs –appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
  • hadoop fs –appendToFile –hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin

  返回值:追加成功则返回0,否则返回1

3 、cat

使用:hadoop fs –cat URI [URI …]

功能:将原路径的内容copy到stdout

Example:

  • hadoop fs –cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
  • hadoop fs –cat file:///file3 /user/hadoop/file4

返回值:成功返回0,否则返回-1

4 、checksum

使用:hadoop fs –checksum URI

功能:返回一个文件的检查值。

Example:

  • hadoop fs –checksum hdfs://nn1.example.com/file1
  • hadoop fs –checksum file:///etc/hosts

5 、chgrp

使用:hadoop fs –chgrp [-R] GROUP URI [URI …]

功能:改变文件所属组。使用该命令的用户必须是文件的所有者或者是超级用户。更多信息参考用户权限指南

选项:使用-R选项将递归改变文件组信息。

6 、chmod

使用:hadoop fs –chmod [-R] <MODE [,MODE]… |OCTALMODE> URI [URI…]

功能:改变文件的权限。使用-R选项将递归改变文件权限信息。使用该命令的用户必须是文件的所有者或超级用户。更多信息请参考用户权限指南

7 、chown

使用:hadoop fs –chown[-R]  [OWNER] [:GROUP] URI [URI]

功能:改变文件权限。使用-R选项将递归改变文件权限。使用该命令的用户必须是文件所有者或超级用户。更多信息请参考用户权限指南

8、copyFromLocal

使用:hadoop fs –copyFromLocal <localsrc> URI

功能:除了源文件必须为本地文件系统外其他与put命令相似。

选项:如果目标文件已经存在-f命令将重写目标文件。

9 、copyToLocal

使用:hadoop fs –copyToLocal [-ignorecrc] [-crc] URI <localdst>

功能:除了目标文件必须为本地文件外,其他与get命令相似。 

10 、count

使用:hadoop fs –count [-q] [-h] [-v] <paths>

功能:计算指定目录下符合特定模式的文件夹、文件和字节数。使用-count输出列为:DIR_COUNT,FILE_COUNT,CONTENT_SIZE,PATHNAME

  使用-count –q的输出列为:QUOTA,REMAINING_QUATA,SPACE_QUOTA,REMAINING_SPACE_QUOTA,DIR_COUNT,FILE_COUNT,CONTENT_SIZE,PATHNAME

  使用-h选项使得输出的字节数可读性能强。

  使用-v将展示首行。

Example:

  • hadoop fs –count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
  • hadoop fs –count –q hdfs://nn1.example.com/file1
  • hadoop fs –count –q –h hdfs://nn1.example.com/file1
  • hdfs dfs –count –q –h –v hdfs://nn1.example.com/file1

返回值:如果成功则返回0,否则返回-1。

11、cp

使用:hadoop fs –cp [-f] [-p | -p [topax]] URI [URI…] <dest>

功能:将文件从源路径copy到目标路径。该命令允许一次copy多个文件,但是此时目标必须是路径。

Example:

  • hadoop fs –cp /user/hadoop/file1 /user/hadoop/file2
  • hadoop fs –cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

返回值:如果成功则返回0,否则返回-1。

参考文献

官方文档 

原文地址:https://www.cnblogs.com/xinlingyoulan/p/6019236.html