一、集合操作1
1、Scala的集合体系结构
// Scala中的集合体系主要包括：Iterable、Seq、Set、Map。其中Iterable是所有集合trait的根trai。这个结构与Java的集合体系非常相似。
// Scala中的集合是分成可变和不可变两类集合的，其中可变集合就是说，集合的元素可以动态修改，而不可变集合的元素在初始化之后，就无法修改了。分别对应scala.collection.mutable和scala.collection.immutable两个包。
// Seq下包含了Range、ArrayBuffer、List等子trait。其中Range就代表了一个序列，通常可以使用“1 to 10”这种语法来产生一个Range。 ArrayBuffer就类似于Java中的ArrayList。2、List
// List代表一个不可变的列表
// List的创建，val list = List(1, 2, 3, 4)
// List有head和tail，head代表List的第一个元素，tail代表第一个元素之后的所有元素，list.head，list.tail
// List有特殊的::操作符，可以用于将head和tail合并成一个List，0 :: list
// ::这种操作符要清楚，在spark源码中都是有体现的，一定要能够看懂！
// 如果一个List只有一个元素，那么它的head就是这个元素，它的tail是Nil
// 案例：用递归函数来给List中每个元素都加上指定前缀，并打印加上前缀的元素
###
scala> val list = List(1,2,3,4)
list: List[Int] = List(1, 2, 3, 4)
#
scala> list.head
res0: Int = 1
scala> list.tail
res1: List[Int] = List(2, 3, 4)
#
scala> val list2 = 0 :: list
list2: List[Int] = List(0, 1, 2, 3, 4)
scala> list
res3: List[Int] = List(1, 2, 3, 4)
scala> list2
res4: List[Int] = List(0, 1, 2, 3, 4)
#
scala> :paste
// Entering paste mode (ctrl-D to finish)
def decorator(list: List[Int], prefix: String) {
if (list != Nil) {
println(prefix + list.head)
decorator(list.tail, prefix)
}
}
// Exiting paste mode, now interpreting.
decorator: (list: List[Int], prefix: String)Unit
scala> decorator(List(1,2,3,4,5), "+")
+1
+2
+3
+4
+53、LinkedList
// LinkedList代表一个可变的列表，使用elem可以引用其头部，使用next可以引用其尾部
scala> val li = scala.collection.mutable.LinkedList(1,2,3,4,5)
warning: there was one deprecation warning; re-run with -deprecation for details
li: scala.collection.mutable.LinkedList[Int] = LinkedList(1, 2, 3, 4, 5)
scala> li.elem
res6: Int = 1
scala> li.next
res7: scala.collection.mutable.LinkedList[Int] = LinkedList(2, 3, 4, 5)
// 案例：使用while循环将LinkedList中的每个元素都乘以2
scala> :paste
// Entering paste mode (ctrl-D to finish)
val list = scala.collection.mutable.LinkedList(1,2,3,4,5)
var currentList = list
while (currentList != Nil) {
currentList.elem = currentList.elem * 2
currentList = currentList.next
}
// Exiting paste mode, now interpreting.
warning: there was one deprecation warning; re-run with -deprecation for details
list: scala.collection.mutable.LinkedList[Int] = LinkedList(2, 4, 6, 8, 10)
currentList: scala.collection.mutable.LinkedList[Int] = LinkedList()
// 案例：使用while循环将LinkedList中，从第一个元素开始，每隔一个元素，乘以2scala> :paste
// Entering paste mode (ctrl-D to finish)
val list = scala.collection.mutable.LinkedList(1,2,3,4,5,6,7,8,9,10)
var currentList = list
var first = true
while (currentList != Nil && currentList.next != Nil) {
if (first) {currentList.elem = currentList.elem * 2; first = false }
currentList = currentList.next.next
if (currentList != Nil) currentList.elem = currentList.elem * 2
}
// Exiting paste mode, now interpreting.
warning: there was one deprecation warning; re-run with -deprecation for details
list: scala.collection.mutable.LinkedList[Int] = LinkedList(2, 2, 6, 4, 10, 6, 14, 8, 18, 10)
currentList: scala.collection.mutable.LinkedList[Int] = LinkedList()
first: Boolean = false
二、集合操作2
1、Set
// Set代表一个没有重复元素的集合，Set为trait，分为可变与不可变两种trait
// 将重复元素加入Set是没有用的，比如val s = Set(1, 2, 3); s + 1; s + 4
scala> val s = Set(1,2,3)
s: scala.collection.immutable.Set[Int] = Set(1, 2, 3)
scala> s + 1
res1: scala.collection.immutable.Set[Int] = Set(1, 2, 3)
scala> s + 4
res2: scala.collection.immutable.Set[Int] = Set(1, 2, 3, 4)
// 而且Set是不保证插入顺序的，也就是说，Set中的元素是乱序的，
scala> val s = new scala.collection.mutable.HashSet[Int]()
s: scala.collection.mutable.HashSet[Int] = Set()
scala> s += 1
res4: s.type = Set(1)
scala> s += 2
res5: s.type = Set(1, 2)
scala> s += 5
res6: s.type = Set(1, 5, 2)
// LinkedHashSet会用一个链表维护插入顺序
scala> val s = new scala.collection.mutable.LinkedHashSet[Int]()
s: scala.collection.mutable.LinkedHashSet[Int] = Set()
scala> s += 1
res7: s.type = Set(1)
scala> s += 2
res8: s.type = Set(1, 2)
scala> s += 5
res9: s.type = Set(1, 2, 5)
// SrotedSet会自动根据key来进行排序
scala> val s = scala.collection.mutable.SortedSet("orange", "apple", "banana")
s: scala.collection.mutable.SortedSet[String] = TreeSet(apple, banana, orange)2、集合的函数式编程
// 集合的函数式编程非常非常非常之重要！
// 必须完全掌握和理解Scala的高阶函数是什么意思，Scala的集合类的map、flatMap、reduce、reduceLeft、foreach等这些函数，就是高阶函数，因为可以接收其他函数
作为参数；
// 高阶函数的使用，也是Scala与Java最大的一点不同！！！因为Java里面是没有函数式编程的，也肯定没有高阶函数，也肯定无法直接将函数传入一个方法，
或者让一个方法返回一个函数
// 对Scala高阶函数的理解、掌握和使用，可以大大增强你的技术，而且也是Scala最有诱惑力、最有优势的一个功能！
// 此外，在Spark源码中，有大量的函数式编程，以及基于集合的高阶函数的使用！ 所以必须掌握，才能看懂spark源码
；
// map案例实战：为List中每个元素都添加一个前缀
scala> val s1 = List("leo", "jen", "jack")
s1: List[String] = List(leo, jen, jack)
scala> val s2 = s1.map("name is " + _)
s2: List[String] = List(name is leo, name is jen, name is jack)
// faltMap案例实战：将List中的多行句子拆分成单词
scala> val list = List("Hello World", "Hello Me", "Hello You")
list: List[String] = List(Hello World, Hello Me, Hello You)
scala> list.flatMap(_.split(" "))
res10: List[String] = List(Hello, World, Hello, Me, Hello, You)
// foreach案例实战：打印List中的每个单词
scala> List("I", "have", "a", "beautiful", "house").foreach(println(_))
I
have
a
beautiful
house
// zip案例实战：对学生姓名和学生成绩进行关联
scala> val nameList = List("leo", "jen", "jack")
nameList: List[String] = List(leo, jen, jack)
scala> val scoreList = List(100,90,80)
scoreList: List[Int] = List(100, 90, 80)
scala> nameList.zip(scoreList)
res14: List[(String, Int)] = List((leo,100), (jen,90), (jack,80))3、案例：统计多个文本单词计数
// 使用scala的io包将文本文件内的数据读取出来
scala> val lines1 = scala.io.Source.fromFile("//home//scala//test01.txt").mkString
lines1: String =
"hello word
linux scala
centos ubuntu
"
scala> val lines2 = scala.io.Source.fromFile("//home//scala//test02.txt").mkString
lines2: String =
"mysql oracle
apache nginx
lvs keepalived
"
// 使用List的伴生对象，将多个文件内的内容创建为一个List
scala> val line = List(lines1, lines2)
line: List[String] =
List("hello word
linux scala
centos ubuntu
", "mysql oracle
apache nginx
lvs keepalived
")
// 下面这一行才是我们的案例的核心和重点，因为有多个高阶函数的链式调用，以及大量下划线的使用，如果没有透彻掌握之前的课讲解的Scala函数式编程，那么
下面这一行代码，完全可能会看不懂！！！
// 但是下面这行代码其实就是Scala编程的精髓所在，就是函数式编程，也是Scala相较于Java等编程语言最大的功能优势所在
// 而且，spark的源码中大量使用了这种复杂的链式调用的函数式编程
// 而且，spark本身提供的开发人员使用的编程api的风格，完全沿用了Scala的函数式编程，比如Spark自身的api中就提供了map、flatMap、reduce、foreach，以及更
高级的reduceByKey、groupByKey等高阶函数
// 如果要使用Scala进行spark工程的开发，那么就必须掌握这种复杂的高阶函数的链式调用！！！
scala> line.flatMap(_.split(" ")).map((_, 1)).map(_._2).reduceLeft(_ + _)
res16: Int = 9