gp 通過copy導入數據到表中


背景:檢索結果導出csv文件,需要導入到gp表中,sql拼接繁瑣且不好解決,故研究copy。

使用的數據中,數值類型中有null,數據為通過pgadmin搜索結果,導出csv

原命令:

test=#\copy 庫.表 from ‘路徑/文件’ delimiter ',' csv  heater;

在cppy時出現 ERROR: invalid input syntax for type numeric: "NULL"

 

解決方案:

test=#\copy 庫.表 from ‘路徑/文件’ delimiter ',' csv  heater NULL as 'NULL';

 

分析:

通過檢索結果導出的csv沒有指定NULL,所以是默認的,此時需要指定NULL

為'NULL'方可導入。

 

測試:

通過copy導出csv,將null 導出時設置;null as a1,再導入時,只需指定 a1 as ‘NULL’ 也可達到目標效果正常導入。

 

參考原參數:

一、Copy的基本語法

Copy的作用是復制數據在數據表和文件之間。

Copy在PostgreSql中的語法是(來自文檔):

1、  將文件中的數據復制到表中:

COPY table_name [ ( column_name [, ...] ) ]

   FROM { 'filename' | PROGRAM 'command' | STDIN }

[ [ WITH ] ( option [, ...] ) ]

2、將表中的數據復制到文件中:

COPY { table_name [ ( column_name [, ...] )] | ( query ) }

    TO{ 'filename' | PROGRAM 'command' | STDOUT }

    [[ WITH ] ( option [, ...] ) ]

其中option的設置的參數如下:

   FORMAT format_name

   OIDS [ boolean ]

   FREEZE [ boolean ]

   DELIMITER 'delimiter_character'

   NULL 'null_string'

   HEADER [ boolean ]

   QUOTE 'quote_character'

   ESCAPE 'escape_character'

   FORCE_QUOTE { ( column_name [, ...] ) | * }

   FORCE_NOT_NULL ( column_name [, ...] )

   ENCODING 'encoding_name'

二、Copy的參數解釋和示例

     FORMAT:指復制到文件的文件類型,如:CSV,TEXT。

       OIDS  :指復制到文件時帶上oid,但是當某個表沒有oid時就會出錯。

       FREEZE :凍結數據,然后執行VACUUM FREEZE。

       DELIMITER:指在導出文件時的分隔符指定需要用單引號。在TEXT時默認為tab,CSV文件默認是逗號。不支持binary文件格式。

      HEADER:指在復制到文件時帶上表字段名稱。

       NULL:指定null值,默認為\N。

       ENCODING:指定文件的編碼,如果沒有指定就默認使用客戶端的字符集。

       STDIN:指的是客戶端程序的輸入流。

STDOUT:指向是客戶端的輸出流。

 

  在執行COPY FROM時table_name就需要實際存在的表,其中字段是可以自選的,如:

1.         COPYemp(ename) FROM “E://emp.txt”

需要注意的是字段類型要匹配並且文件也只要一個字段的值。

2.         COPYemp FROM “E://emp.txt”

文件中需要包含emp表中的字段的值,或tab,或‘,’等分割開的數據

  在執行COPY TO時的一些注意,解釋和示例:

1.         COPYemp TO STDOUT (DELIMITER ‘|’)

指的是輸出在客戶端並且以‘|’為分隔符

2.         COPY (select* from emp) TO ‘E://emp.csv’ (FORMAT ‘CSV’,DELIMITER ‘|’,HEADER true,NULL ‘’’’’’)

Table_name是可以為動態視圖的,並且在后面的括號中參數可以包含多個,多個參數以逗號分隔開。HERDER的值可以使true,false,1,0,on,off,需要注意的是HERDER參數只有在FORMAT為CSV時生效。

3.         COPY empTO PROGRAM ‘zip > E://emp.zip’

參數PROGRAM指的是使用操作系統內部的程序對輸出文件進行加工,上面的作用是將emp導出並且壓縮。

 

參考文獻:

https://blog.csdn.net/chuan_day/article/details/44099859

https://www.jianshu.com/p/b56f0fd8f12b (較詳細)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM