spark源码编译,本地调试

1、下载源码

2、进入源码根据README.md编译源码,注意使用的是源码目录下的maven编译

3、用idea导入顶层pom文件

4、修改顶层pom文件和example下的pom文件,将scope的值全部从provided替换成compile

5、运行任意example,由于是本地运行,需要添加

.master("local[4]")来配置SparkSession。
原文地址:https://www.cnblogs.com/cenglinjinran/p/7704963.html