Spark IDEA 调试(反编译)

1）以WordCount为例，具体代码如下：

 1 import org.apache.spark.SparkConf
 2 import org.apache.spark.SparkContext;
 3 import org.apache.spark.SparkContext._
 4 /**
 5   * Created by hfz on 2016/4/21.
 6   */
 7 object test2 {
 8   def main (args: Array[String]){
 9     var conf=new SparkConf().setAppName("WordCount").setMaster("local");
10     var sc=new SparkContext(conf);
11     var rdd=sc.textFile("data/README.md");
12     rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_);
13     rdd.collect();
14 
15 
16   }
17 
18 
19 }

如果我们希望深入到sc.textFile()内部搞清楚都做了什么操作，如果是Java的话，我们直接CTRL+B，IDEA就自动把jar包中的字节码反编译为Java源码，并且，我们可以直接下个断点调试程序，但是对于Scala，IDEA的反编译效果并不是很好，如下图所示：

2）提示“Source not found”，我们在看textFile()方法，只可以看到方法的参数列表，方法体的内容却看不到，只能看到“compiled code”也就是“编译后的代码”。解决方法如下：

a.下载Spark1.4源码

b.然后点击右上角的“Attach Source”，添加源码，如下所示：

添加路径是“spark1.4.0/core/src/main/scala/org”，然后点击OK确定。“Attching”完成之后，我们就可以看到textFile()的方法体了，并且可以像之前调试hadoop一样，在这个方法下断点，运行程序的时候，会在这里命中断点，如下所示(这里只是加了个断点，没有调试)：