每日踩坑 2020-11-04 PostgreSQL 批量插入數據

一看居然兩三個月沒寫博文了。湊。最近去考了個試，老天保佑吧。

今天有個同事跑來問我，我之前寫的數據同步工具支不支持 PostgreSQL。

然后跟我講了他的需求。感覺我隨手寫的小東西開始變成整個部門的標准方案了。。。這讓我有點惶恐。君要臣死，臣不得不死啊。

 

那么換驅動，兼容不同的sqlsever，mysql 這些都是老生常談了。無非就是再加上 PostgreSQL 的驅動而已。

但是所有事情要是那么簡單就好了。

首先，我們來百度 PostgreSQL 的批量插入。因為是數據同步，所以對性能還是又一定要求的。

當我們在百度上搜索批量插入 自然應該都會找到這篇。

Npgsql使用入門(三)【批量導入數據】_極客神殿-CSDN博客 

你會發現同樣的文章有很多的人轉載（抄襲）甚至連個轉載聲明都沒有。唉。很多人創作的心態就是被這些抄襲的人搞炸的。

 

按照文中的代碼段思路，是將泛型List 轉換為 DataTable 然后直接使用二進制導入的API導入。

此時我按文中代碼實現卻拋出了異常。我想該不會是因為文章是2016年的太老了吧。

22021: invalid byte sequence for encoding "UTF8": 0x00

這個百度一下看起來是因為字符的編碼問題。我花了一上午來嘗試從這個角度解決這個問題，全部無果而終。

這里的心酸和彎路就不提了。

 

然后我仔細的看了看我 mysql 源庫的數據類型和 pgsql 的類型，發現 pgsql 大部分用的是 varcher。也就是我把大部分 mysql bigint 的值寫入了 pgsql 的varchar。

結合我在 stackoverflow上看到的零星解釋，我覺得和這個也許有些關系。然后我對照 mysql 調整了 pgsql 的字段類型。

本來我都以為要成功了。然后錯誤變成了：

 22P03: incorrect binary data format

我心態要崩了。你說這個誰懂啊！！！我在考慮要不要開一下 pgsql 的日志。

然后我看了看 NpgsqlBinaryImporter 其他的 api。發現注釋里寫的 WriteRow 方法相當於循環調用 Write 方法。（？？？這也太

然后看 Write 方法有些重載：

        public void Write<[NullableAttribute(2)]T([AllowNullAttribute] T value);
        public void Write<[NullableAttribute(2)]T>([AllowNullAttribute] T value, NpgsqlDbType npgsqlDbType);
        public void Write<[NullableAttribute(2)]T>([AllowNullAttribute] T value, string dataTypeName);

NpgsqlDbType 這個參數引起了我的注意。合着 WriteRow 寫一組object。那對應的類型它肯定是取不對的 = =。

此時我的心底燃起了希望之火，那么。我們就換這個api來插入數據，代碼如下：

                var commandFormat = string.Format(CultureInfo.InvariantCulture, "COPY {0} FROM STDIN (FORMAT BINARY)", TableName);
                using (var writer = (db.Connection as NpgsqlConnection).BeginBinaryImport(commandFormat))
                {
                    foreach (DataRow row in dt.Rows)
                    {
                        writer.StartRow();
                        foreach (DataColumn coll in row.Table.Columns)
                        {
                            var colldbtype = coll.DataType.Name.ToString();
                            NpgsqlTypes.NpgsqlDbType pgtype = NpgsqlTypes.NpgsqlDbType.Bigint;if (colldbtype.ToLower().Contains("int64")) { pgtype = NpgsqlTypes.NpgsqlDbType.Bigint; }
                            if (colldbtype.ToLower().Contains("string")) { pgtype = NpgsqlTypes.NpgsqlDbType.Varchar; }
                            if (colldbtype.ToLower().Contains("datetime")) { pgtype = NpgsqlTypes.NpgsqlDbType.Date; }
                            writer.Write(item[coll.ColumnName], pgtype);
                        }
                    }
                    writer.Complete();

ok，成功。

這種方法的重點是 這里計算的 pgtype 與庫中的字段格式必須對應。