Spark小课堂Week5 Scala初探

Scala是java威力加强版。

对Java的改进

这里会结合StreamingContext.scala这个代码说明下对Java的改进方面。

方便测试方式，增加了可以指定位置的作用域。
成员变量声明，构造方法，get、set方法一体化。
[]表示泛型，不是<>

class StreamingContext private[streaming] (
     sc_ : SparkContext,
         cp_ : Checkpoint,     
    batchDur_ : Duration   
  ) extends Logging

case声明Java Bean，省掉new的操作

private[scheduler] sealed trait JobSchedulerEvent
 private[scheduler] case class JobStarted(job: Job, startTime: Long) extends JobSchedulerEvent

用val控制声明周期，防止他人重新构造，已将所有基本类型对象化，所以val内容是可变的
提供类型推断，对于编译器可推断类型无需定义

private[streaming] val isCheckpointPresent = (cp_ != null)

会自动根据分支的最后一个逻辑返回，不需要return，可以表达式来定义逻辑

private[streaming] var checkpointDir: String = {
   if (isCheckpointPresent) {
       sc.setCheckpointDir(cp_.checkpointDir)  
    cp_.checkpointDir  
  } else {  
    null  
  }
   }

用None替代null，由定义方来定义是否可能空指针情况，降低调用方的开发难度

private[streaming] val uiTab: Option[StreamingTab] = 
  if (conf.getBoolean("spark.ui.enabled", true)) { 
    Some(new StreamingTab(this)) 
  } else { 
    None 
  }

作业

题目

在RDD.scala中没有sortByKey方法，为什么可以调用。

解析

Scala中有一个非常强大的隐式转换功能，可以实现方法的动态注入。

以下是范例代码。可以看到通过隐式转换方法，可以动态给Person类添加toCode这个方法。
在Spark源码中到处使用。

class Person(val name:String)
class Engineer(val name:String,val salary:Double){
    def code = println("coding:" + name)
}
def toCode(p:Person){
    p.code
}

implicit def personToEngineer(p:Person) : Engineer= {
    new Engineer(p.name,0);
}
new Person("aa").code

关于

小课堂是在公司进行内部交流的一系列主题，偏基础，但是比较零散，持续更新中。