Spark学习笔记2（spark所需环境配置

Spark学习笔记2

配置spark所需环境

1.首先先把本地的maven的压缩包解压到本地文件夹中，安装好本地的maven客户端程序，版本没有什么要求

不需要最新版的maven客户端。

解压完成之后在解压好的maven客户端的文件夹内打开conf文件夹，修改里面的settings.xml文件

然后只需要修改这一行就可以了，把这一行替换成你自己本地的maven仓库的路径

最好是自己有一个完整点的maven仓库，然后把这个修改过的xml文件放到maven仓库下

到这里，你本地的maven客户端环境已经搭建好了，现在可以到IDEA里建一个maven项目了！

在IDEA上建立一个maven项目

1.创建一个maven项目

new Project --》 Maven --》 next --》 groupId：组织名称（类似eclipse的工作空间），Artifactid：项目名称 Version：版本名称
--》 next到项目名称，项目的工作路径等 --》 finish

下面开始配置你的xml文件，因为maven项目需要很多的依赖，配置好xml文件

就可以导入大部分的依赖包了，直接把下面的代码复制进来放入你的xml文件里就ok

  1 <?xml version="1.0" encoding="UTF-8"?>
  2 <project xmlns="http://maven.apache.org/POM/4.0.0"
  3          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  5     <modelVersion>4.0.0</modelVersion>
  6 
  7     <groupId>cn.beicai1704</groupId>
  8     <artifactId>sparkLearn1704</artifactId>
  9     <version>1.0-SNAPSHOT</version>
 10 
 11     <properties>
 12         <maven.compiler.source>1.7</maven.compiler.source>
 13         <maven.compiler.target>1.7</maven.compiler.target>
 14         <encoding>UTF-8</encoding>
 15         <scala.version>2.10.6</scala.version>
 16         <spark.version>1.6.1</spark.version>
 17         <hadoop.version>2.6.4</hadoop.version>
 18     </properties>
 19 
 20     <dependencies>
 21         <dependency>
 22             <groupId>org.scala-lang</groupId>
 23             <artifactId>scala-library</artifactId>
 24             <version>${scala.version}</version>
 25         </dependency>
 26 
 27         <dependency>
 28             <groupId>org.apache.spark</groupId>
 29             <artifactId>spark-core_2.10</artifactId>
 30             <version>${spark.version}</version>
 31         </dependency>
 32 
 33         <dependency>
 34             <groupId>org.apache.hadoop</groupId>
 35             <artifactId>hadoop-client</artifactId>
 36             <version>${hadoop.version}</version>
 37         </dependency>
 38         <dependency>
 39             <groupId>org.apache.spark</groupId>
 40             <artifactId>spark-streaming_2.10</artifactId>
 41             <version>${spark.version}</version>
 42         </dependency>
 43         <dependency>
 44             <groupId>org.apache.spark</groupId>
 45             <artifactId>spark-sql_2.10</artifactId>
 46             <version>${spark.version}</version>
 47         </dependency>
 48 
 49         <dependency>
 50             <groupId>org.apache.spark</groupId>
 51             <artifactId>spark-hive_2.10</artifactId>
 52             <version>${spark.version}</version>
 53         </dependency>
 54 
 55         <dependency>
 56             <groupId>org.apache.spark</groupId>
 57             <artifactId>spark-streaming-kafka_2.10</artifactId>
 58             <version>1.6.1</version>
 59         </dependency>
 60 
 61         <dependency>
 62             <groupId>org.apache.spark</groupId>
 63             <artifactId>spark-streaming-flume_2.10</artifactId>
 64             <version>${spark.version}</version>
 65         </dependency>
 66 
 67         <dependency>
 68             <groupId>com.alibaba</groupId>
 69             <artifactId>fastjson</artifactId>
 70             <version>1.1.41</version>
 71         </dependency>
 72 
 73     </dependencies>
 74 
 75     <build>
 76         <sourceDirectory>src/main/scala</sourceDirectory>
 77         <testSourceDirectory>src/test/scala</testSourceDirectory>
 78         <plugins>
 79             <plugin>
 80                 <groupId>net.alchim31.maven</groupId>
 81                 <artifactId>scala-maven-plugin</artifactId>
 82                 <version>3.2.2</version>
 83                 <executions>
 84                     <execution>
 85                         <goals>
 86                             <goal>compile</goal>
 87                             <goal>testCompile</goal>
 88                         </goals>
 89                         <configuration>
 90                             <args>
 91                                 <arg>-make:transitive</arg>
 92                                 <arg>-dependencyfile</arg>
 93                                 <arg>${project.build.directory}/.scala_dependencies</arg>
 94                             </args>
 95                         </configuration>
 96                     </execution>
 97                 </executions>
 98             </plugin>
 99 
100             <plugin>
101                 <groupId>org.apache.maven.plugins</groupId>
102                 <artifactId>maven-shade-plugin</artifactId>
103                 <version>2.4.3</version>
104                 <executions>
105                     <execution>
106                         <phase>package</phase>
107                         <goals>
108                             <goal>shade</goal>
109                         </goals>
110                         <configuration>
111                             <filters>
112                                 <filter>
113                                     <artifact>*:*</artifact>
114                                     <excludes>
115                                         <exclude>META-INF/*.SF</exclude>
116                                         <exclude>META-INF/*.DSA</exclude>
117                                         <exclude>META-INF/*.RSA</exclude>
118                                     </excludes>
119                                 </filter>
120                             </filters>
121                             <transformers>
122                                 <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
123                                     <mainClass>WordCount</mainClass>
124                                 </transformer>
125                             </transformers>
126                         </configuration>
127                     </execution>
128                 </executions>
129             </plugin>
130         </plugins>
131     </build>

View Code

然后根据提示点击加载依赖到项目里，因为我已经配置过了，所以没有任何显示

到这里基本就配置完成了，现在可以写一个spark文件来测试一下了！

转载本文请和本文作者联系，本文来自博客园一袭白衣一