背景:檢索結果導出csv文件,需要導入到gp表中,sql拼接繁瑣且不好解決,故研究copy。
使用的數據中,數值類型中有null,數據為通過pgadmin搜索結果,導出csv
原命令:
test=#\copy 庫.表 from ‘路徑/文件’ delimiter ',' csv heater;
在cppy時出現 ERROR: invalid input syntax for type numeric: "NULL"
解決方案:
test=#\copy 庫.表 from ‘路徑/文件’ delimiter ',' csv heater NULL as 'NULL';
分析:
通過檢索結果導出的csv沒有指定NULL,所以是默認的,此時需要指定NULL
為'NULL'方可導入。
測試:
通過copy導出csv,將null 導出時設置;null as a1,再導入時,只需指定 a1 as ‘NULL’ 也可達到目標效果正常導入。
參考原參數:
一、Copy的基本語法
Copy的作用是復制數據在數據表和文件之間。
Copy在PostgreSql中的語法是(來自文檔):
1、 將文件中的數據復制到表中:
COPY table_name [ ( column_name [, ...] ) ]
FROM { 'filename' | PROGRAM 'command' | STDIN }
[ [ WITH ] ( option [, ...] ) ]
2、將表中的數據復制到文件中:
COPY { table_name [ ( column_name [, ...] )] | ( query ) }
TO{ 'filename' | PROGRAM 'command' | STDOUT }
[[ WITH ] ( option [, ...] ) ]
其中option的設置的參數如下:
FORMAT format_name
OIDS [ boolean ]
FREEZE [ boolean ]
DELIMITER 'delimiter_character'
NULL 'null_string'
HEADER [ boolean ]
QUOTE 'quote_character'
ESCAPE 'escape_character'
FORCE_QUOTE { ( column_name [, ...] ) | * }
FORCE_NOT_NULL ( column_name [, ...] )
ENCODING 'encoding_name'
二、Copy的參數解釋和示例
FORMAT:指復制到文件的文件類型,如:CSV,TEXT。
OIDS :指復制到文件時帶上oid,但是當某個表沒有oid時就會出錯。
FREEZE :凍結數據,然后執行VACUUM FREEZE。
DELIMITER:指在導出文件時的分隔符指定需要用單引號。在TEXT時默認為tab,CSV文件默認是逗號。不支持binary文件格式。
HEADER:指在復制到文件時帶上表字段名稱。
NULL:指定null值,默認為\N。
ENCODING:指定文件的編碼,如果沒有指定就默認使用客戶端的字符集。
STDIN:指的是客戶端程序的輸入流。
STDOUT:指向是客戶端的輸出流。
在執行COPY FROM時table_name就需要實際存在的表,其中字段是可以自選的,如:
1. COPYemp(ename) FROM “E://emp.txt”
需要注意的是字段類型要匹配並且文件也只要一個字段的值。
2. COPYemp FROM “E://emp.txt”
文件中需要包含emp表中的字段的值,或tab,或‘,’等分割開的數據
在執行COPY TO時的一些注意,解釋和示例:
1. COPYemp TO STDOUT (DELIMITER ‘|’)
指的是輸出在客戶端並且以‘|’為分隔符
2. COPY (select* from emp) TO ‘E://emp.csv’ (FORMAT ‘CSV’,DELIMITER ‘|’,HEADER true,NULL ‘’’’’’)
Table_name是可以為動態視圖的,並且在后面的括號中參數可以包含多個,多個參數以逗號分隔開。HERDER的值可以使true,false,1,0,on,off,需要注意的是HERDER參數只有在FORMAT為CSV時生效。
3. COPY empTO PROGRAM ‘zip > E://emp.zip’
參數PROGRAM指的是使用操作系統內部的程序對輸出文件進行加工,上面的作用是將emp導出並且壓縮。
參考文獻:
https://blog.csdn.net/chuan_day/article/details/44099859
https://www.jianshu.com/p/b56f0fd8f12b (較詳細)