使用IDEA编译spark 1.5并运行example的代码

操作系统:windows 10

IDEA : IDEA 14.1.4

1:使用IDEA导入spark 1.5的源码,注意maven配置为自动导入

2:在maven窗口下的profiles中勾选hadoop, hive ,hive-thriftserver,yarn的选项。

3: 在maven窗口下勾选genertate sourec命令

4:把example该module的所有dependency修改为compile

先replace pom.xml,然后缺哪个修改哪个

 

现在整个ok了

原文地址:https://www.cnblogs.com/gaoxing/p/4803705.html