从Oracle、SQLServer、Mysql等异构数据库高速抽取数据到GP(greenPlum)


greenplum数据连接配置,注意连接类型要选择PostgreSQL

clipboard

新建数据连接,源选择异构的示例数据库SampleSource(H2数据库)

clipboard

目标页签选择GP的数据连接和表

目标表更新方式:新增并更新数据到目标表

关键字段:不为空即可

插入前执行语句:系统会自动生成Merge语句,将merge语句替换成Copy语句

COPY 表名 FROM STDIN DELIMITER '|' NULL 'None'

(DELIMITER 表示列分隔符;NULL 'None'的意思是值为null的数据会被填充为“None”)

具体可以参考postgresql(greenplum)的COPY ... FROM STDIN 的语法。

clipboard

注意:老的pg版本语法上略有不同,需根据当前版本的语句来写COPY语句。


执行任务,10万行数据导入。实测4G数据导入GP用时100秒左右。

clipboard


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM