编译spark-0.9.1

准备工作:注意 spark-0.9.1 要求 scala-2.10.x 版本,sbt-0.12.4版本。

  centos 6.4 x64 系统,java 1.7.0 x64

  1,安装 scala-2.10.x   

  2,  安装sbt-0.12.4

    download  rpm,

     http://www.scala-sbt.org/release/docs/Getting-Started/Setup.html

     #yum localinstall sbt.rpm

    自动下载 java-1.5.0-gcj  等依赖。

   安装完毕,检查版本

   # sbt --version

编译:

下载spark-0.9.1.tgz

1.命令行

  #cd spark-0.9.1

 该版本默认hadoop的版本是1.0.4 ,如指定hadoop 2.2.0,执行命令:
#SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true  sbt/sbt assembly

2. IDE berkeley 用IntelliJ IDEA, 命令行创建IDEA 工程、

  #sbt/sbt  update  gen-idea  

=================

spark 社区贡献代码

Spark 0.9.1源码编译

 http://www.iteblog.com/archives/1016

 build spark 0.9.0  on yarn

http://www.cnblogs.com/littlesuccess/p/3558827.html

Spark-0.9.1编译安装和运行

http://www.micmiu.com/bigdata/spark/spark-build-run/

spark-user-list

http://apache-spark-user-list.1001560.n3.nabble.com/

原文地址:https://www.cnblogs.com/GrantYu/p/3723366.html