首先在Linux环境安装spark:
可以从如下地址下载最新版本的spark:
https://spark.apache.org/downloads.html
这个下载下来后是个tgz的压缩包,解压后spark环境就安装好了
或者从github上下载:
#git clone git://github.com/apache/spark.git
安装好后,进入到spark的根目录,就可以通过spark提供的一些脚本命令行来用spark进行计算了,一个例子
./bin/spark-submit examples/src/main/python/pi.py 10
这个例子是,可以给脚本命令传入python脚本参数来计算,当然也可以传入Java的jar包参数来计算,即如何计算是通过传入python脚本或者Java类来定义的,
python脚本用spark提供的python api编写,入口是main函数
java类用spark提供的java api来编写,入口也是main函数,要将java类及其依赖的jar包打成jar
下面主要说下在IntelliJ idea中用Java在本地进行spark计算(单线程)
首先需要在pom文件中引入如下两个依赖:
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.2.0</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.2.0</version> </dependency>
Java测试类如下:
功能:分别计算testfile.txt文件中包含字符a和b的行数
package com.sogou.baike; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.SparkSession; /** * Hello world! * */ public class SimpleApp { public static void main( String[] args ) { System.setProperty("hadoop.home.dir", "D:\software\hadoop-home\"); String logFile = "D:\testfile.txt"; SparkSession spark = SparkSession.builder().master("local").appName("Simple Application").getOrCreate(); Dataset<String> logData = spark.read().textFile(logFile).cache(); long numAs = logData.filter(s->s.contains("a")).count(); long numBs = logData.filter(s->s.contains("b")).count(); System.out.println("a: " + numAs + ", b: " + numBs); spark.stop(); } }
上面是我已经完全配置好的代码,我最开始运行的过程中遇到了四个错误
第一个错误:
idea不支持java8的新特性lambda表达式
解决办法:参考我的另外一篇博客:
http://blog.csdn.net/u011734144/article/details/77867697
第二个错误:
Could not locate executable nullinwinutils.exe in the Hadoop binaries
解决办法:
到如下地址下载winutils.exe文件, http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
并保存到如下路径(自行保存路径):
D:\software\hadoop-home\
然后在代码中加上这行:
System.setProperty("hadoop.home.dir", "D:\software\hadoop-home\");
这是配置winutils.exe文件的路径,但是要把winutils.exe文件放到上述目录下的bin/目录中
第三个错误:(这个错误是没有配置spark的集群地址)
org.apache.spark.SparkException: A master URL must be set in your configuration
解决办法:
可以通过修改idea的配置来解决,实际就是添加jvm的参数配置:
点击idea的Edit Configuration, 在VM options中输入
-Dspark.master=local
也可以通过修改这行代码:
SparkSession spark = SparkSession.builder().master("local").appName("Simple Application").getOrCreate();
上面是修改后的,即加上master("local") 就不会报这个错误了,这个表示spark计算访问的是本地spark,而不是远程spark集群
第四个错误:
Exception in thread "main" java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration. at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:217) at org.apache.spark.memory.UnifiedMemoryManager$.apply(UnifiedMemoryManager.scala:199) at org.apache.spark.SparkEnv$.create(SparkEnv.scala:332) at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175) at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257) at org.apache.spark.SparkContext.<init>(SparkContext.scala:432) at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2509) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:909) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:901) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:901) at com.sogou.baike.SimpleApp.main(SimpleApp.java:14) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:497) at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)
这个说的是项目需要的堆空间太小,所以需要配置java 虚拟机的参数
解决办法:如上,在VM options中添加配置初始堆和最大堆的大小:
-Xms1024m -Xmx1024m
所以最终的java虚拟机的参数内容为:
-Dspark.master=local -Xms1024m -Xmx1024m
上面这种方式的spark计算是在本地执行的,是单线程的
我们其实可以将上述java代码打包成jar包,然后用上面安装好的spark的命令./bin/spark-shell 来执行spark计算,并且可以用该命令将计算提交到集群上计算,加快速度
注意spark命令要运行必须配置JAVA_HOME为java8