從Oracle、SQLServer、Mysql等異構數據庫高速抽取數據到GP(greenPlum)


greenplum數據連接配置,注意連接類型要選擇PostgreSQL

clipboard

新建數據連接,源選擇異構的示例數據庫SampleSource(H2數據庫)

clipboard

目標頁簽選擇GP的數據連接和表

目標表更新方式:新增並更新數據到目標表

關鍵字段:不為空即可

插入前執行語句:系統會自動生成Merge語句,將merge語句替換成Copy語句

COPY 表名 FROM STDIN DELIMITER '|' NULL 'None'

(DELIMITER 表示列分隔符;NULL 'None'的意思是值為null的數據會被填充為“None”)

具體可以參考postgresql(greenplum)的COPY ... FROM STDIN 的語法。

clipboard

注意:老的pg版本語法上略有不同,需根據當前版本的語句來寫COPY語句。


執行任務,10萬行數據導入。實測4G數據導入GP用時100秒左右。

clipboard


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM