一、环境准备
将事先准备好的 Hadoop jar 文件安装到非中文无空格的路径下：
配置 环境变量
eclipse 创建 maven 项目，
pom.xml 引入一下依赖
<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.8</version> <scope>system</scope> <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath> </dependency> </dependencies>
scr/main/resourses 下创建 log4j.properties 文件，黏贴一下内容并保存
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
二、测试环境是否可用
编写 HdfsTest 类；
public static Configuration conf = new Configuration(); @Test public void testMkdir() throws IOException, InterruptedException, URISyntaxException { // conf.set("fs.defaultFS", "hdfs://hadoop103:9000"); // 1、获取 HDFS 客户端对象 FileSystem fs = FileSystem.get(new URI("hdfs://hadoop103:9000"), conf, "hui"); // 2、创建路径 fs.mkdirs(new Path("/yttlj/emp")); fs.close(); System.out.println(" ok "); }
运行查看 HDFS
[hui@hadoop103 ~]$ hadoop fs -ls -R / drwxr-xr-x - hui supergroup 0 2020-09-09 13:17 /user drwxr-xr-x - hui supergroup 0 2020-09-09 13:20 /yttlj drwxr-xr-x - hui supergroup 0 2020-09-09 13:20 /yttlj/emp
至此：客户端环境搭建完毕。
三、HDFS 常用 API 操作
文件上传
// 2、文件上传 @Test public void putFileTest() throws IOException, InterruptedException, URISyntaxException { // 1、获取 fs 对象 FileSystem fs = FileSystem.get(new URI("hdfs://hadoop103:9000"), conf, "hui"); // 2、上传文件 // fs.copyFromLocalFile(new Path("E:/workspaced/data/zhouzhiruo.txt"), new // Path("/yttlj/emp")); // conf 个性化设置 // conf.set("dfs.replication", "2"); fs.copyFromLocalFile(new Path("E:/workspaced/data/zhouzhiruo.txt"), new Path("/yttlj/gmd/yangxiao.txt")); // 3、关闭资源 fs.close(); }
将hdfs-site.xml拷贝到项目的根目录下
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <!-- 设置副本数 为 1 --> <name>dfs.replication</name> <value>1</value> </property> </configuration>
参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath下的用户自定义配置文件 >（3）然后是服务器的默认配置。
HDFS 文件下载
// 3、文件下载 @Test public void gettFileTest() throws Exception { // 1、获取 fs 对象 FileSystem fs = FileSystem.get(new URI("hdfs://hadoop103:9000"), conf, "hui"); // 2、下载文件 // fs.copyFromLocalFile(new Path("E:/workspaced/data/zhouzhiruo.txt"), new // Path("/yttlj/emp")); // 直接从 HDFS 文件系统抓取数据到本地 // fs.copyToLocalFile(new Path("/yttlj/emp/zhouggl.txt"), new // Path("E:/workspaced/data/zhouggl.txt")); // false 是否删除 HDFS 文件系统文件，若删除相当于剪切，true 是否校验 fs.copyToLocalFile(false, new Path("/yttlj/emp/zhouggl.txt"), new Path("E:/workspaced/data/zhougg111l.txt"), true); fs.close(); }
HDFS 文件删除
// 3、文件删除 @Test public void deletetFileTest() throws Exception { // 1、获取 fs 对象 FileSystem fs = FileSystem.get(new URI("hdfs://hadoop103:9000"), conf, "hui"); // 2、删除文件 如果 删除的目录，true 则递归删除 fs.delete(new Path("/yttlj/emp"), true); fs.close(); }
HDFS 文件更新名称
// 4、文件更名 @Test public void updatFileTest() throws Exception { // 1、获取 fs 对象 FileSystem fs = FileSystem.get(new URI("hdfs://hadoop103:9000"), conf, "hui"); // 2、修改名称 fs.rename(new Path("/yttlj/gmd/yangxiao.txt"), new Path("/yttlj/gmd/yangxiao_buhui.txt")); fs.close(); }
HDFS 文件详情
// 5、查看文件详细信息 @Test public void lookFileInfoTest() throws Exception { // 1、获取 fs 对象 FileSystem fs = FileSystem.get(new URI("hdfs://hadoop103:9000"), conf, "hui"); // 2、查看文件详细信息 RemoteIterator<LocatedFileStatus> listFilesIterator = fs.listFiles(new Path("/"), true); while (listFilesIterator.hasNext()) { LocatedFileStatus fileStatus = listFilesIterator.next(); // 查看文件 名称 长度 权限 块信息 System.out.println(fileStatus.getPath().getName()); System.out.println(fileStatus.getPermission()); System.out.println(fileStatus.getLen()); System.out.println(fileStatus.getBlockSize()); BlockLocation[] blockLocations = fileStatus.getBlockLocations(); for (BlockLocation blockLocation : blockLocations) { String[] hosts = blockLocation.getHosts(); for (String host : hosts) { System.out.println(host); } } System.out.println("-------------------------------"); } fs.close(); }
HDFS 文件OR文件夹
//6、文件OR文件夹 @Test public void FileTest() throws Exception { // 1、获取 fs 对象 FileSystem fs = FileSystem.get(new URI("hdfs://hadoop103:9000"), conf, "hui"); // 2、获取文件信息 FileStatus[] fileStatus = fs.listStatus(new Path("/")); for (FileStatus fileStatu : fileStatus) { if(fileStatu.isFile()) { //文件 System.out.println(fileStatu.getPath().getName() +" isFile "); }else{ //文件夹 System.out.println(fileStatu.getPath().getName() +" isDir "); } } fs.close(); }