视频:JDBCRDD源码及自定义JDBCRDD的分区策略

jdbcRDD虽然是鸡肋,但是也值得一讲。帮助大家更进一步理解RDD。

1,JDBCRDD使用

参数解释:

1,sparkcontext。

2,一个创建链接的函数。

3,sql。必须有? <=ID AND ID <=?。

4,要取数据的id最小行。

5,要取数据的id最大行号。

6,分区数。

7,一个将ResultSet转化为需要类型的方法。

2,JdbcRDD的getPartition方法

3,JdbcRDD的compute方法

就是一个通过jdbc获取指定范围数据的过程。

4,重写JDBC方法

重写分区的方法即可。

如:

同时把getPartition方法重写为:

更多源码视频,请加入知识星球获取:

640?wx_fmt=jpeg


文章来源:https://blog.csdn.net/rlnLo2pNEfx9c/article/details/80851392

原文地址:https://www.cnblogs.com/mazhujun/p/9633734.html