maven hadoop 3.x HADOOP_HOME and hadoop.home.dir are unset Not implemented by the WebHdfsFileSystem FileSystem implementation

具体异常如下:

解决方案:

删除pom文件中的hadoop-core的依赖,原因:hadoop-core是1.x的产物,在2.x之后已经被hadoop-common取代,我配置的时候同时使用了这两个依赖导致jar包冲突.

附上我测试上传用的代码

/**
 * 上传文件到hdfs
 * @author tele
 *
 */
public class Demo1 {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop002:9000"), conf,"tele");
        fs.copyFromLocalFile(new Path("f:/test.sql"),new Path("/111.sql"));
        fs.close();
        System.out.println("上传完毕");
    }
}

如果下载的过程中出现了 HADOOP_HOME and hadoop.home.dir are unset,那么就说明你没有配置windows本地的hadoop环境变量.你可能会想我是远程调用linux下的hadoop,与我本地的hadoop有什么关系?如果你的操作只对远程的hadoop生效,如上传,创建目录,文件改名(写)等那么你是不需要在windows本地配置hadoop的,可一旦涉及到下载(读),hadoop内部的缓存机制要求本地也必须有hadoop,于是也会出现HADOOP_HOME and hadoop.home.dir are unset,解决办法配置HADOOP_HOME并加入%HADOOP_HOME%in到PATH中,之后测试下hadoop version命令,有效的话重启你的eclipse/myeclipse,但这还不够,windows下的hadoop还需要winutils.exe,否则会报Could not locate Hadoop executable: xxxxwinutils.exe 

测试下载的代码如下

　　 static FileSystem fs;
    static {
        Configuration conf = new Configuration();
        try {
            fs = FileSystem.get(new URI("hdfs://hadoop002:9000"), conf,"tele");
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (URISyntaxException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
    
    //下载文件
    @Test
    public void downLoadFile() throws Exception{
        //如果为null,重启myeclipse/eclipse即可
        System.out.println(System.getenv("HADOOP_HOME"));
        fs.copyToLocalFile(new Path("/hello2.sql"),new  Path("C:/a.sql"));
        fs.close();
        System.out.println("下载完毕");
    }