scala程序启动时,Could not locate executable nullinwinutils.exe in the Hadoop binaries解决方案

原因:window本地无法获取hadoop的配置

解决方法:

1)下载一个spark-2.4.6-bin-hadoop2.7压缩包到本地并解压

2)下载一个winutils.exe放到spark-2.4.6-bin-hadoop2.7in

做完以上两步后,重启idea,如果还不成功,再执行下面步骤。

3)在scala程序中添加如下配置:

def enterHbase(): Unit = {
    System.setProperty("hadoop.home.dir", "E:\testscala\spark-2.4.6-bin-hadoop2.7")
    Logger.getLogger("org").setLevel(Level.WARN)
    //------------------hbase连接部分-----------------------
    val conf = HBaseConfiguration.create()
    conf.set("hbase.zookeeper.quorum", zkIP)
    conf.set("hbase.zookeeper.property.clientPort", "2181")
    conf.set("zookeeper.znode.parent", "/hbase")

 4)在本地添加hadoop环境变量:

右键——属性——高级系统设置——环境变量

 

每天进步一点点,快乐生活多一点。
原文地址:https://www.cnblogs.com/yiruliu/p/13639001.html