背景:检索结果导出csv文件,需要导入到gp表中,sql拼接繁琐且不好解决,故研究copy。
使用的数据中,数值类型中有null,数据为通过pgadmin搜索结果,导出csv
原命令:
test=#\copy 库.表 from ‘路径/文件’ delimiter ',' csv heater;
在cppy时出现 ERROR: invalid input syntax for type numeric: "NULL"
解决方案:
test=#\copy 库.表 from ‘路径/文件’ delimiter ',' csv heater NULL as 'NULL';
分析:
通过检索结果导出的csv没有指定NULL,所以是默认的,此时需要指定NULL
为'NULL'方可导入。
测试:
通过copy导出csv,将null 导出时设置;null as a1,再导入时,只需指定 a1 as ‘NULL’ 也可达到目标效果正常导入。
参考原参数:
一、Copy的基本语法
Copy的作用是复制数据在数据表和文件之间。
Copy在PostgreSql中的语法是(来自文档):
1、 将文件中的数据复制到表中:
COPY table_name [ ( column_name [, ...] ) ]
FROM { 'filename' | PROGRAM 'command' | STDIN }
[ [ WITH ] ( option [, ...] ) ]
2、将表中的数据复制到文件中:
COPY { table_name [ ( column_name [, ...] )] | ( query ) }
TO{ 'filename' | PROGRAM 'command' | STDOUT }
[[ WITH ] ( option [, ...] ) ]
其中option的设置的参数如下:
FORMAT format_name
OIDS [ boolean ]
FREEZE [ boolean ]
DELIMITER 'delimiter_character'
NULL 'null_string'
HEADER [ boolean ]
QUOTE 'quote_character'
ESCAPE 'escape_character'
FORCE_QUOTE { ( column_name [, ...] ) | * }
FORCE_NOT_NULL ( column_name [, ...] )
ENCODING 'encoding_name'
二、Copy的参数解释和示例
FORMAT:指复制到文件的文件类型,如:CSV,TEXT。
OIDS :指复制到文件时带上oid,但是当某个表没有oid时就会出错。
FREEZE :冻结数据,然后执行VACUUM FREEZE。
DELIMITER:指在导出文件时的分隔符指定需要用单引号。在TEXT时默认为tab,CSV文件默认是逗号。不支持binary文件格式。
HEADER:指在复制到文件时带上表字段名称。
NULL:指定null值,默认为\N。
ENCODING:指定文件的编码,如果没有指定就默认使用客户端的字符集。
STDIN:指的是客户端程序的输入流。
STDOUT:指向是客户端的输出流。
在执行COPY FROM时table_name就需要实际存在的表,其中字段是可以自选的,如:
1. COPYemp(ename) FROM “E://emp.txt”
需要注意的是字段类型要匹配并且文件也只要一个字段的值。
2. COPYemp FROM “E://emp.txt”
文件中需要包含emp表中的字段的值,或tab,或‘,’等分割开的数据
在执行COPY TO时的一些注意,解释和示例:
1. COPYemp TO STDOUT (DELIMITER ‘|’)
指的是输出在客户端并且以‘|’为分隔符
2. COPY (select* from emp) TO ‘E://emp.csv’ (FORMAT ‘CSV’,DELIMITER ‘|’,HEADER true,NULL ‘’’’’’)
Table_name是可以为动态视图的,并且在后面的括号中参数可以包含多个,多个参数以逗号分隔开。HERDER的值可以使true,false,1,0,on,off,需要注意的是HERDER参数只有在FORMAT为CSV时生效。
3. COPY empTO PROGRAM ‘zip > E://emp.zip’
参数PROGRAM指的是使用操作系统内部的程序对输出文件进行加工,上面的作用是将emp导出并且压缩。
参考文献:
https://blog.csdn.net/chuan_day/article/details/44099859
https://www.jianshu.com/p/b56f0fd8f12b (较详细)