002 Spark的编译

一:不编译

1.不编译的做法

  在公司里可能需要编译,但是如果为了简单的学习就不必编译,直接在官方下载即可。

  截图为:

  

二:编译

1.下载

  http://archive.cloudera.com/cdh5/cdh/5/

  http://archive.apache.org/dist/

2.环境要求

  

3.官方要求位置

   

  

4.检测环境

  

5.解压resposity(需要的包)

  

6.解压spark

   tar -xvf spark-1.6.1.taz -C /etc/opt/modules/

  

7.修改make-distribution.sh文件

  我想,应该是替换掉上面的变量

  

8.修改pom.xml(共两处scala.version)

  

9.放置依赖服务,先上传

  如果不给,则需要在网上自己下载,时间太久。

  

10.将依赖的压缩包解压到spark下的build下

  tar -zxvf zinc-0.3.5.3.tgz -C /etc/opt/modules/spark-1.6.1/build 

  tar -zxvf scala-2.10.4.tgz -C /etc/opt/modules/spark-1.6.1/build

  

11.CDH编译以及apache编译(选择一种)

  

  在这里使用apache编译

  ./make-distribution.sh --tgz

  -Phadoop-2.4
  -Dhadoop.version=2.5.0
  -Pyarn
  -Phive -Phive-thriftserver

  解释:

  tgz:打包压缩

  -P:环境变量

  

  

12.编译的结果

  

13.编译好的jar包

  

三:结束

1.到此为止,打包压缩已经完成,就意味着编译已经成功。

 

  

  

原文地址:https://www.cnblogs.com/juncaoit/p/6367296.html