eclipse在对spark的支持上并不友好,所以需要新下载并安装IntelliJ IDEA 2019.1。我下载安装的是专业版的,直接在网上搜索了破解码进行破解。
1、 配置java和scala
IDE的配置是我陌生的,所以可能会有一些错误的多余的操作。
安装scala插件:选择Plugins-搜索scala—安装scala插件—重启
重启后选择新建项目,可以在项目选择中找到scala。我新建的是scala-IDE项目,在新建界面选择java SDK(java jdk目录)和SCALA SDK(scala jdk目录)
2、 配置spark
选择File—project Structure—Libraries—选择中间那栏上面的加号—java,然后在跳出界面选择spark解压目录下的jars包
接下来就是报错更改之旅:
具体代码如下
报错1:java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable
解决方案:https://blog.csdn.net/weixin_40371587/article/details/80684898
是scala版本不对造成的,基于上一个随笔进行版本更改
报错2:org.apache.spark.SparkException: A master URL must be set in your configuration
解决方案:看字面意思,是因为没有指定master url的锅,由于我这是单机的spqrk,可以使用本地作为master,即-Dspark.master=local
https://blog.csdn.net/qq_21383435/article/details/77200167
最后跑通了