今天开始学习spark3大数据结构中的RDD
什么是RDD：
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据
处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行
计算的集合。
RDD有5大核心属性：
*-A list of partitions（分区列表用于执行任务时并行计算）
*一 A function for computing each split*（分区计算函数，每个分区的数据计算）
-A list of dependencies on other RDDs（RDD 之间的依赖关系）
*- Optionally， a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)（，分区器，分区器自定义数据的分区）
- Optionally， a list of preferred locations to compute each split on (e.g. block locations for水an HDFS file)（首选位置，可以根据计算节点的状态选择不同的节点位置进行计算）
RDD的创建：
（1）从集合（内存）中创建 RDD
def main(args: Array[String]): Unit = {
//准备环境
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("spark")
val sparkContext = new SparkContext(sparkConf)
//内存中创建rdd,内存中存储的数据作为数据源
//parallelize:并行
val rdd1 = sparkContext.parallelize(
List(1,2,3,4)
)
//从底层代码实现来讲，makeRDD 方法其实就是 parallelize 方法
val rdd2 = sparkContext.makeRDD(
List(1,2,3,4)
)
rdd1.collect().foreach(println)
rdd2.collect().foreach(println)
//关闭环境
sparkContext.stop()
}
（2）从外部存储（文件）创建 RDD
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("spark")
val sparkContext = new SparkContext(sparkConf)
//spark读取文件操作底层代码就是使用hadoop的读取方式
//第二个参数可以指定最小分区数
val fileRDD: RDD[String] = sparkContext.textFile("data",2)
//path路径可以使用通配符*
// val fileRDD: RDD[String] = sparkContext.textFile("data/1*.txt")
//分布式系统路径
// val fileRDD: RDD[String] = sparkContext.textFile("hdfs://hadoop102:8020/test")
fileRDD.collect().foreach(println)
sparkContext.stop()
}
RDD 并行度与分区：（数据分区后的数据分配问题篇幅过于长，详情见尚硅谷spark教程p35-p39）
def main(args: Array[String]): Unit = {
//准备环境
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("spark")
val sparkContext = new SparkContext(sparkConf)
//rdd的并行和分区,第二个参数可以指定分区数
val dataRDD: RDD[Int] = sparkContext.makeRDD(
List(1,2,3,4),4)
//文件分区后进行输入在output目录下
dataRDD.saveAsTextFile("output")
sparkContext.stop()
//关闭环境
sparkContext.stop()
}
//spark读取文件操作底层代码就是使用hadoop的读取方式