spark2.4.2 源码编译

基于Maven的构建是Apache Spark的参考构建。使用Maven构建Spark需要Maven 3.5.4Java 8.请注意,从Spark 2.2.0开始,对Java 7的支持已被删除。

包:
jdk-8u51-linux-x64.tar.gz
apache-maven-3.3.9-bin.tar.gz
spark-2.4.2.tgz
scala-2.11.8.tgz

1、maven中的设置

需要通过设置来配置Maven以使用比平时更多的内存MAVEN_OPTS

$ export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

设置MAVEN的镜像地址:
$ vi $MAVEN_HOME/conf/setting.xml

屏幕快照 2019-05-04 01.38.07


2、spark中的设置

$ cd /home/hadoop/app/spark-2.4.2
$ vi pom.xml

屏幕快照 2019-05-04 01.29.15

注意: 如果强制使用maven3.3.9版本,需要改maven版本(默认3.5.4)

屏幕快照 2019-05-04 01.33.11


3、编译

./dev/make-distribution.sh 
--name 2.6.0-cdh5.7.0  
--tgz  
-Pyarn -Phadoop-2.6 
-Phive -Phive-thriftserver 
-Dhadoop.version=2.6.0-cdh5.7.0

屏幕快照 2019-05-04 01.09.40



原文地址:https://www.cnblogs.com/suixingc/p/spark242-yuan-ma-bian-yi.html