编译Spark2.1.2源码

源码编译的shell脚本为 /dev/make-distribution.sh ,下载源码包解压就能找到。不同版本使用的参数有差异。可以直接查看make-distribution.sh文件。

下载spark源码包,解压缩 ,执行以下脚本

第一种:不支持R,python版本

./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --tgz -Dscala-2.11 -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

第二种:支持R,python版本,由于我服务未安装R包,所以用下面的脚本虽然编译成功,但是未生产最终的文件.

./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --pip --r --tgz -Dscala-2.11 -PR -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

 编译成功。

注意:

如果要支持SparkR, 必须安装R。

使用第一种方法编译成功后生成的最终文件。 

原文地址:https://www.cnblogs.com/30go/p/7991953.html