1.12学习总结:分区

一、学习视频

https://www.bilibili.com/video/BV1oE411s7h7?p=27

二、分区的作用

1.增加并行度

2.减少通信开销

三、自定义分区方法

调用SparkContext对象的.textFile()或者.parallelize()方法,在方法内传递两个参数,第一个是需要读取的数据,第二个是设置的分区数

三、单词词频统计

原文地址:https://www.cnblogs.com/wangzhaojun1670/p/14339079.html