【异常】Spark UI界面异常、CRT不能退格/删除、不能查看DAG图、Windows系统下运行程序出错

目录

 一、IDEA运行Spark项目UI界面图片展示异常

二、解决spark-shell中不能输入退格/删除,设置CRT

 三、解决Spark的webUI不能查看DAG图

四、Windows系统下运行hadoop、spark程序出错

  1)Windows系统下运行hadoop、spark程序出错Could not locate executablenullinwinutils.exe in the Hadoop binaries

  2)在windows上运行Hadoop、Spark出现异常:UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z


 一、IDEA运行Spark项目UI界面图片展示异常

后台报错:
java.lang.NoSuchMethodError: javax.servlet.http.HttpServletRequest.isAsyncSupported()Z
并且UI界面打开之后,不能加载图片。

在HttpServletRequest类中确实没有找到isAsyncSupported方法。在提示的两个版本的jar包中都没有找到这个方法。

从依赖的maven中的javax.servlet的api包有2.5版本和3.1版本的,所以把低版本的删除掉:
 项目右键,选择open module settings,选择低版本的移除掉就可以了。

如果上面的做法不能解决问题,那么就在最头上添加依赖:

<dependency>
<groupId>javax.servlet</groupId>
<artifactId>javax.servlet-api</artifactId>
<version>3.0.1</version>
</dependency>

二、解决spark-shell中不能输入退格/删除,设置CRT

参考:https://blog.csdn.net/u012102306/article/details/51013217

 配好了Spark集群后,先用pyspark写了两个小例子,但是发现Tab键没有提示,于是打算转到scala上试试,在spark-shell下有提示了,但是发现不能退格,而且提示也不是复写,而是追加,这样根本就没法写程序.

解决办法:

1.打开会话选项


2.终端-仿真    在终端中选择Linux


3.映射键   勾选两个选项


4.至此已经成功了,但是如果远程长时间未操作 就会中断连接,下次再操作时需要等待,其实也很影响使用,在这里也附上解决办法(可选)

修改这个CRT的背景颜色,上面的操作之后的背景颜色是黑色,现在改成白色,不要进行勾选:


 三、解决Spark的webUI不能查看DAG图

不能查看DAG图,是因为360浏览器默认是使用的兼容模式,要改为急速模式:


四、Windows系统下运行hadoop、spark程序出错

1)Windows系统下运行hadoop、spark程序出错Could not locate executablenullinwinutils.exe in the Hadoop binaries

winutils.exe是在Windows系统上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类,另外在使用eclipse调试hadoop程序是,也需要winutils.exe,需要配置上面的环境变量。

1)下载winutils,注意需要与hadoop的版本相对应。

因为我的IDEA中使用的Hadoop是2.6,所以下载对应的版本:hadoop-common-2.6.0-bin-master.zip

2)解压,并在windows上配置系统环境变量:

新建:HADOOP_HOME=D:HuQiaoMei uoze_softwarehadoop-common-2.6.0-bin-master

path前面加:%HADOOP_HOME%in

3)在编写的代码中添加:
System.setProperty("hadoop.home.dir", "D:\HuQiaoMei\ruoze_software\hadoop-common-2.6.0-bin-master")

需要在sparkConf下加上一句:```System.setProperty("hadoop.home.dir", "D:\HuQiaoMei\ruoze_software\hadoop-common-2.6.0-bin-master");```。

参考:https://blog.csdn.net/love666666shen/article/details/78812622

2)在windows上运行Hadoop、Spark出现异常:UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

解决办法:
将D:HuQiaoMei uoze_softwarehadoop-common-2.6.0-bin-master复制到C:WindowsSystem32下

原文地址:https://www.cnblogs.com/huomei/p/12096653.html