一、Spark简介
1.Spark的特点
特点1：运行速度快（内存计算，循环数据流、有向无环图设计机制）
把所有针对数据集的操作转换成一张有向无环图，整个执行引擎调度都是基于这个有向无环图，对这个有向无环图的后期操作，会进行拆分，分成不同的阶段，每一阶段分成不同的任务，再去分发到不同的机器上去执行。
它可以采用特定的方式对它整个里面执行的过程进行优化，比如流水线优化
特点2：容易使用，Scala可通过spark Shell进行交互式编程
特点3：通用性（完整的解决方案，技术软件栈）
特点4：运行模式多样
2.Spark与Hadoop的对比
MapReduce的缺陷：
（1）表达能力有限
（2）磁盘开销大
（3）延迟高
（4）衔接的IO开销大
3.Spark的优点
（1）操作类型更多（表达能力更强）
（2）内存计算（运行速率提升，高效提高迭代运算）
（3）避免数据落地
数据不写入磁盘；
形成一个有向无环图，让有向无环图当中的一些操作之间形成流水线优化
二、Spark生态系统
1.为什么Spark要建立生态系统？
三种应用场景需求
Spark2.0之后新增了Structured Streaming组件，
Mahout现在是基于Spark的机器学习算法库