gp 通过copy导入数据到表中


背景:检索结果导出csv文件,需要导入到gp表中,sql拼接繁琐且不好解决,故研究copy。

使用的数据中,数值类型中有null,数据为通过pgadmin搜索结果,导出csv

原命令:

test=#\copy 库.表 from ‘路径/文件’ delimiter ',' csv  heater;

在cppy时出现 ERROR: invalid input syntax for type numeric: "NULL"

 

解决方案:

test=#\copy 库.表 from ‘路径/文件’ delimiter ',' csv  heater NULL as 'NULL';

 

分析:

通过检索结果导出的csv没有指定NULL,所以是默认的,此时需要指定NULL

为'NULL'方可导入。

 

测试:

通过copy导出csv,将null 导出时设置;null as a1,再导入时,只需指定 a1 as ‘NULL’ 也可达到目标效果正常导入。

 

参考原参数:

一、Copy的基本语法

Copy的作用是复制数据在数据表和文件之间。

Copy在PostgreSql中的语法是(来自文档):

1、  将文件中的数据复制到表中:

COPY table_name [ ( column_name [, ...] ) ]

   FROM { 'filename' | PROGRAM 'command' | STDIN }

[ [ WITH ] ( option [, ...] ) ]

2、将表中的数据复制到文件中:

COPY { table_name [ ( column_name [, ...] )] | ( query ) }

    TO{ 'filename' | PROGRAM 'command' | STDOUT }

    [[ WITH ] ( option [, ...] ) ]

其中option的设置的参数如下:

   FORMAT format_name

   OIDS [ boolean ]

   FREEZE [ boolean ]

   DELIMITER 'delimiter_character'

   NULL 'null_string'

   HEADER [ boolean ]

   QUOTE 'quote_character'

   ESCAPE 'escape_character'

   FORCE_QUOTE { ( column_name [, ...] ) | * }

   FORCE_NOT_NULL ( column_name [, ...] )

   ENCODING 'encoding_name'

二、Copy的参数解释和示例

     FORMAT:指复制到文件的文件类型,如:CSV,TEXT。

       OIDS  :指复制到文件时带上oid,但是当某个表没有oid时就会出错。

       FREEZE :冻结数据,然后执行VACUUM FREEZE。

       DELIMITER:指在导出文件时的分隔符指定需要用单引号。在TEXT时默认为tab,CSV文件默认是逗号。不支持binary文件格式。

      HEADER:指在复制到文件时带上表字段名称。

       NULL:指定null值,默认为\N。

       ENCODING:指定文件的编码,如果没有指定就默认使用客户端的字符集。

       STDIN:指的是客户端程序的输入流。

STDOUT:指向是客户端的输出流。

 

  在执行COPY FROM时table_name就需要实际存在的表,其中字段是可以自选的,如:

1.         COPYemp(ename) FROM “E://emp.txt”

需要注意的是字段类型要匹配并且文件也只要一个字段的值。

2.         COPYemp FROM “E://emp.txt”

文件中需要包含emp表中的字段的值,或tab,或‘,’等分割开的数据

  在执行COPY TO时的一些注意,解释和示例:

1.         COPYemp TO STDOUT (DELIMITER ‘|’)

指的是输出在客户端并且以‘|’为分隔符

2.         COPY (select* from emp) TO ‘E://emp.csv’ (FORMAT ‘CSV’,DELIMITER ‘|’,HEADER true,NULL ‘’’’’’)

Table_name是可以为动态视图的,并且在后面的括号中参数可以包含多个,多个参数以逗号分隔开。HERDER的值可以使true,false,1,0,on,off,需要注意的是HERDER参数只有在FORMAT为CSV时生效。

3.         COPY empTO PROGRAM ‘zip > E://emp.zip’

参数PROGRAM指的是使用操作系统内部的程序对输出文件进行加工,上面的作用是将emp导出并且压缩。

 

参考文献:

https://blog.csdn.net/chuan_day/article/details/44099859

https://www.jianshu.com/p/b56f0fd8f12b (较详细)


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM