scala 开发spark可以使用哪些语言： Python开发45% scala 35% java 20% 一、scala的概述 java基础上代码的简化版、功能的加强版 隐式转换 高阶函数 一个函数的参数是另一个函数 ，或者是返回值是一个函数 1、scala继承了面向对象编程和面向函数式编程的各种特征，在2003年发布了基础java的第一个版本 Object-Oriented Meets Functional scala 优雅 简洁 强大 基于spark的开发使用scala语言实现wordcount sc.textFile("/user/beifeng/input/wc.txt") //RDD[String] .flatMap(x=>x.split(" ")) // Array[(String)] .map(x=>(x,1)) //Array[(String,Int)] .reduceByKey((x,y)=>(x+y)) //Array[(String,Int)] .saveAs("/user/beifeng/output1") hadoop hive hive spark oozie flume Array(hadoop hive hive spark oozie flume ) Array[(hadoop,1), (hive,1), hive spark oozie flume ] 2、scala和java可以互操作 java和scala共用jvm平台 scala使用scalac编译器将源码编译成java的class文件 可以在scala代码中直接调用所有的java类库 也可以在java的代码中插入一段scala代码 3、函数式链式编程一些以函数和对象两方面为主 函数在scala中是一等公民 函数可以被当做参数进行传递 函数可以做为一个函数的返回值返回 可以在函数中定义另一函数 重点： 模式匹配 高阶函数 匿名函数 隐式转换 将一种数据类型偷偷转换成另一种数据类型 trait类 接口 二、scala安装部署 下载路径：http://www.scala-lang.org/download/2.10.4.html window下： java需求提前配置好 scala配置： scala-2.10.4.zip 解压到某个路径下 配置环境变量： JAVA_HOME XXX SCALA_HOME XXX PATH %JAVA_HOME%/bin;%SCALA_HOME%/bin linux： 三、scala基本使用 交互式命令行 -》 REPl l->loop scala是一种强类型语言 但是scala可以自动推断数据类型 scala> val b = 3 b: Int = 3 scala> b+5 res0: Int = 8 //res0是系统提供的临时变量 scala> res0+1 res1: Int = 9 scala> println("hello world") hello world scala写第一个程序 object HelloWorld { def main(args:Array[String]) { println("Hello,world!!!") } } $ scalac HelloWorld.scala $ scala HelloWorld 四、安装部署IDEA工具 window/linux 版本 window： 安装前一定要配置好scala和java的环境变量 启动-》选择主题-》都是下一步（不要选择任何插件）-》start 集成scala插件： configure-》plugins-》install form disk -》选择scala插件-》重启 Setting： appreance-》设置系统字体及主题 keymap -》 设置快捷键风格-》eclipse editor->font->save as -> 设置代码字体风格 create new project scala -》设置项目名称及工程目录 -》选择本地安装的jdk的sdk 五、scala中变量的定义、数据类型、函数的定义及函数的参数类型 1、变量的定义 使用val声明一个不可变变量 scala> val a:Int=3 a: Int = 3 scala> a=4 //val声明的变量不能重新赋值 <console>:8: error: reassignment to val a=4 ^ 使用var声明一个可变变量 scala> var c = 6 c: Int = 6 scala> c = 7 c: Int = 7 在scala中声明变量的语法 val/var a:Int=3 语法： 关键字（val/var）+ 变量名:数据类型（首写字母大写） = 值 2、scala中如何先定义一个为空值的变量 scala> var name:String //报错，需要给变量一个初始化值 解决： scala> var name:String = "" scala> var name1:String = _ 3、scala中的数据类型 在scala中没有基本数据量和包装类之分，所有的数据类型都是类 首写字母需要大写 4、scala中的lazy 懒执行 当val修饰的变量被lazy修饰时，它的初始化将被推迟，直到第一次去调用 scala> lazy val price = 15.8 price: Double = <lazy> //此时没有将15.8赋值给price scala> price //当第一次去调用 price时系统才会进行赋值操作 res3: Double = 15.8 scala> lazy var price1 = 15.8 <console>:1: error: lazy not allowed here. Only vals can be lazy lazy var price1 = 15.8 ^ 5、scala中函数的定义 def 函数名称（参数名称：参数类型）：返回类型 = { 函数体内容 } 因为scala可以自动推断数据类型，所以函数的返回值类型一般可以直接省略 def min(x:Int,y:Int):Int = { if (x>y) y else x } 6、文件编辑软件sublime介绍 查看-》语法-》scala 7、当定义的函数为空参时，调用该函数时可以省略函数的括号 def hello()={println("hello!!!")} def hello() = println("hello!!!") //当函数体只有一句时可以省略大括号 hello() hello def hello():Unit = println("hello!!!") Unit在scala中表示无返回值类型，相当于java的void 8、函数中定义另一个函数 函数的嵌套或闭包 内函数可以调用外函数的变量 def fun1(a: Int) = { def fun2(b: Int) = { println("a+b=" + (a + b)) } fun2(200) } fun1(20) scala> :paste //进入到粘贴模式 (ctrl-D to finish) scala> fun1(100) a+b=300 9、匿名函数 定义： (x:Int)=>{x+1} 语法：（变量名：数据类型，...）=> { 函数体内容 } 匿名函数的特点： 1、匿名函数可以赋值给一个函数 def add=(x:Int,y:Int)=>{x+y} add(3,8) 2、匿名函数可以赋值给一个变量 val add=(x:Int,y:Int)=>{x+y} add(3,6) 考虑如何将一个非匿名函数赋值给一个变量 ？ def add(x: Int, y: Int) = x + y val add1=add _ //函数名+空格+占位符 add1(3,8) 10、在scala的函数中可以指定参数的默认值（缺省值） def path(p: String="Desttop") = { println("the path is " + p) } path() //当传入参数时，会使用参数的默认值 def loadConf(conf:String="spark-defalut.xml")={ println("conf is "+conf ) } 11、scala中可以使用*代表传入的参数为重复参数（变长参数） def printName(name:String*)={ println("the name is "+name) } printName("zhangsan","lili","wangwu") val arr=Array("lili","tom","mary") printName(arr:_*)//通过声明arr为_*，表示告诉编译器我们传入的是一个个String类型的元素，而不是一个Array[String] 六、scala中的流程控制语句及循环表达式 while do while for breaks 1、 val list=List("tom","mary","lio","lili") //定义一个List集合不用使用new，使用的是List类的伴生对象里面的apply方法，通过apply方法帮我们new的List对象 val list = List("tom", "mary", "lio", "lili") var x = 0 while (x < list.length) { println(list(x)) x += 1 } for (x <- list) { println(x) } “<-”是一个提取符，可以从集合中遍历提取出所有的元素 break() 方法演示 object LoopTest { def main(args: Array[String]) { val list = List("tom", "mary", "lio", "lili") val loop = new Breaks loop.breakable { for (x <- list) { println(x) if (x == "mary") loop.break() } } println("over........") } } ----------------------------------- 2、scala中的循环表达式 1 to 10 //包头包尾 1.to(10) 1 until 10 //包头不包尾 1.until(10) Range(1,10) //包头不包尾 Range(1,-10,-3) //可以给出step步长 Range(1,-10,0) //java.lang.IllegalArgumentException: step cannot be 0. 结合for循环使用循环表达式 for (x<- 1.to(10)){ println(x) } 求1到10范围内的偶数 for (x<- 1.to(10) if x%2==0 ){ println(x) } 七、元组 tuple 元组的定义 使用 括号 () val tuple = (1, 3, "tom", 3.3, "lili") tuple._1 //元组元素的获取 tuple._3 总结 ： 元组类型是scala和Python里特有 在scala中，元组是n个不同数据类型对象的一个聚集 n的最大的值是22 Map的元素实际上是n=2的元组 ，即2元组 ，也是最简单的元组 元组必须使用()来表示 元组元素的遍历 val tuple = (1, 3, "tom", 3.3, "lili") for (x<- 0 to tuple.productArity ) { //使用to为什么会报错 println(tuple.productElement(x)) } for (x<- 0 until tuple.productArity ) { // until不报错 println(tuple.productElement(x)) } 八、scala中的数组 1、scala中数组的特点 数组是相同数据类型固定大小的元素的连续集合 数组的元素的角标从0开始 数组的定义 val arr=Array(33,11,66,88) 2、数组分为定长数组和变长数组 定长数组 val arr=Array(33,11,66,88) //默认是定长数组 数组的取值 arr(0) arr(2) 定长数组不支持更改数组元素长度或值的方法 变长数组 val arr1=scala.collection.mutable.ArrayBuffer(11,22,44) import scala.collection.mutable.ArrayBuffer val arr2=ArrayBuffer(55,99) 添加元素 val arr1 = scala.collection.mutable.ArrayBuffer(11, 22, 44) val arr = Array(111, 222) arr1 += 55 arr1 arr1 +=(66, 77) arr1 ++= arr 减去元素 -=/--= 变长数组可以使用的更改元素内容的方法 arr1.insert(0,77,88) arr1 arr1.remove(3) arr1 arr1.trimEnd(2) arr1 arr1.toArray //变长数组转定长数组 3、数组的遍历 for (x <- 0 until arr1.length) { println(arr1(x)) } for (x <-arr1){ println(x) } 4、其他常用方法 排序： val arr1 = scala.collection.mutable.ArrayBuffer(55,11, 22, 44) val arr2=arr1.toArray scala.util.Sorting.quickSort(arr2) //原来的数组变了 arr2 arr1.sorted //默认是升序排序，返回一个新的排好序的数组 ，原来的不变 转换为字符串 arr1.mkString("，") arr1.mkString("【",",","】") //res1: String = 【55,11,22,44】 九、scala中的集合 scala中所有的集合类都在 scala.collection 包下 scala.collection.mutable 包下是可变集合 可变集合可以进行修改、添加、删除等操作，且是在原集合基础上进行的更新操作 scala.collection.immutable 包下是不变集合 不可变集合也可以模拟修改、添加、删除等操作，但是每次操作不是在原来集合基础上的更新操作，每次都会生产一个新的集合 1、定长List集合 定长list集合的定义： val list = List(33,55,77,11) list.head //返回第一个元素的值 list.tail //返回除第一个元素外的其他元素的集合 Nil //代表一个空的List集合 总结List集合是由head头和tail尾组成的 向定长list集合添加元素 val list1=88::list //添加元素后生产了一个新的list集合，原list集合元素没有变化 val list2 =99::111::222::list val list3=555::Nil //通过这种方法也能创建一个list集合 删除list集合的元素 list.drop(3) //表示从左数删除3个元素 原list集合元素没有变化 2、变长list集合 定义 val list=scala.collection.mutable.ListBuffer(44,11,88) 添加元素（都是在原集合基础上进行的更新操作） list += 111 list+=(444,666) list++= list1 删除元素 -=/--= 变长list集合的转换 list.toList 定长list集合 list.toArray 定长数组 list集合的遍历 for (x<-list){ println(x) } list集合其他常用方法 list.exists((x:Int)=> {x>55}) //通过exists方法判断list集合里面有没有大于55的元素 简化： list.exists((x:Int)=> x>55 ) list.exists((x)=> x>55) //scala可以自动推断数据类型 list.exists(x=> x>55 ) //只有一个参数时可以省略括号 list.exists(_ > 55 ) //当匿名函数的参数在函数体中只调用一次时可以这样写 list.filter(_ > 20) //过滤出大于20的元素 3、Set PPT 参考list array 4、不可变Map集合 定义： val map=Map("lili"->18,"tom"->19,"mary"->17) 获取value map("tom") map("mary") //map("wangwu") //方法一 if (map.contains("wangwu")) map("wangwu") else -1 //方法二 map.getOrElse("lili",-1) 5、可变map集合 定义 val map1=scala.collection.mutable.Map("lili"->18,"tom"->19,"mary"->17) 更新或添加元素 map1("lili")=19 map1("lio")=21 map1 +=("zhaosi"->23) map集合的遍历 for ((x, y) <- map1) { println("key is " + x + ",value is " + y) } for ((key, _) <- map1) { println("key is " + key) } for ((_, value) <- map1) { println("value is " + value) } for (values <- map1.values){ println("value is " + values) } 比较安全的遍历方法 for((key,value)<-map1){ println("key is " + key+ ",value is " + map1.getOrElse(key,-1)) } map集合的排序 map1.toList.sorted.toMap