foreachPartition来写数据库


foreachPartition,在生产环境中,通常来说,都使用foreachPartition来写数据库的

使用批处理操作(一条SQL和多组参数) 发送一条SQL语句,发送一次 一下子就批量插入100万条数据。

用了foreachPartition算子之后,好处在哪里?

1、对于我们写的function函数,就调用一次,一次传入一个partition所有的数据

2、主要创建或者获取一个数据库连接就可以

3、只要向数据库发送一次SQL语句和多组参数即可


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM