2020寒假生活学习日记(四)

安装maven
ubuntu中没有自带安装maven,需要手动安装maven。

 在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录

在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件(vim ./sparkapp2/src/main/java/SimpleApp.java),添加代码如下:

 该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下,声明该独立应用程序的信息以及与Spark的依赖关系:

 为了保证maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:

 接着,我们可以通过如下代码将这整个应用程序打包成Jar

  出现的问题:

在打包jar的时候一直出现error,后来我发现必须把pom.xml里面的

<groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.0.0-preview</version>
改成自己版本号
然后加上
<build>
        <pluginManagement>
          <plugins>
            <plugin>
              <artifactId>maven-resources-plugin</artifactId>
              <version>2.7</version>
            </plugin>           
          </plugins>
        </pluginManagement>   
    </build>
就OK了,之后保持网络顺畅,一直下载依赖包 等待结束。
原文地址:https://www.cnblogs.com/jccjcc/p/12259092.html