foreachPartition来写数据库

foreachPartition,在生产环境中,通常来说,都使用foreachPartition来写数据库的

使用批处理操作(一条SQL和多组参数) 发送一条SQL语句,发送一次 一下子就批量插入100万条数据。

用了foreachPartition算子之后,好处在哪里?

1、对于我们写的function函数,就调用一次,一次传入一个partition所有的数据

2、主要创建或者获取一个数据库连接就可以

3、只要向数据库发送一次SQL语句和多组参数即可

原文地址:https://www.cnblogs.com/playforever/p/9415005.html