修改源码:
package org.apache.spark.repl.SparkILoop
第29行:
将源码包打包
./dev/make-distribution.sh --name 2.6.0-cdh5.16.2 --tgz -Phive -Phive-thriftserver -Pyarn -Phadoop-2.7 -Dhadoop.version=2.6.0-cdh5.16.2 -Dscala.version=2.12.10
生成安装包
spark-3.1.1-bin-2.6.0-cdh5.16.2.tgz
上传到Linux服务器解压并执行
[root@ruozedata bin]# ./spark-shell