HDFS

 分布式文件系统

 删除:>    hdfs dfs   -rmdir --ignore-fail-on-non-empty  /user/centos/java           【一次只能删除一级】


在hdfs文件系统的根目录创建一个文件夹data01

hadoop fs -mkdir /data01

查看创建的目录

hadoop fs -ls /

      从centos上传到hdfs系统

hadoop fs -put /home/centos/hadooptest.txt /data01/

查看

hadoop fs -ls /data01/

查看内容

hadoop fs -cat /data01/hadooptest.txt

验证一下是否是自己centos上的文件

cat /home/centos/hadooptest.txt 

 HDFS UnKnown 协议

URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

URL url = new URL("hdfs://192.168.238.200:8020/user/centos/java/index.txt");

 并不怎么用,但是入门必学


 读取HDFS文件:---------------------------------------------------------->>>>

获取配置对象 2

FileSystem.get ( Configuration 对象) -----> 配置:

     创建配置文件 1 Configuration conf = new Configuration ();

FileSystem.get .open ( hdfs文件路径 );------> 配置:

     path p = new path ( " 路径 " ) ; 

FileNotFoundException   ---- File  路径  does not exist   问题  ------> 配置:

     new Configuration ().set ( " fs.defaultFS " , " hdfs://192.168.200:8020 " ) ;


 创建目录

FileSystem.get(conf).mkdir ( path ) ;  【boolean类型】

-------->附

fs.append ( );


创建文件

FileSystem.get(conf).create ( path ) ;  【FSDataOutputStream】

       fso.write ( " string " , getBytes() ) ;


删除文件或目录

FileSystem.get(conf).delete( path ,true) ;   【Boolean类型】

false 为不递归

true  为递归


读取文件的简单方式

FSDataInputStream in = fs.open ( path );

ByteArrayOutputStream out = new ByteArrayOutputStream ( ) ;

IOUtils.copy ( in ,out , 1024 );

System.out.println ( out ) ;


 金风玉露一相逢,便胜却人间无数


回首间---我错过了那片星海
原文地址:https://www.cnblogs.com/Vowzhou/p/10172666.html