Spark运行中java.net.UnknownHostException: nameservice1的异常

一、概述

 使用IDEA调试spark程序时,spark通过thriftserver访问hive的元数据信息,如果不设置spark的warehouse目录会报nameservice1异常;这是因为本地目录访问不到nameservice信息,需要将nameservices配置到spark中。

二、问题解决

1、将CDH平台的hdfs-site.xml文件拷贝到spark的conf目录中

2、使用config方式配置warehouse路径

  config(“spark.sql.warehouse.dir”,“hdfs://192.168.86.120:9000/usr/hive/warehouse”)

或者使用:

3、使用config方式配置nameservices路径

config(“dfs.ha.namenodes.nameservices”,“192.168.86.120,192.168.86.121”)

原文地址:https://www.cnblogs.com/chhyan-dream/p/13454563.html