sql 中的Bulk和C# 中的SqlBulkCopy批量插入數據 （ 回顧 and 粗談 ）

       通常，我們會對於一個文本文件數據導入到數據庫中，不多說，上代碼。

       首先，表結構如下.

　　 

　　 其次，在我當前D盤中有個文本文件名為2.txt的文件。

　　

　　在數據庫中，可以這樣通過一句代碼插入。

     

Bulk  insert  T_Demo

      From  'D:\2.txt'

      With

      (   fieldterminator=',',

          rowterminator='\n'

      )

　　1） bulk insert:  為Sql server 中一個批量插入的操作

      2）T_Demo:   要插入的表

      3）'D:\2.txt':   數據源文件所在磁盤上的物理路徑

      4）with 相當於一些插入的附屬條件，可以起這里添加一些約束限制條件等

      5） fieldterminator=’,’字段的分割符為”，”一般的txt文本數據源的字段分隔都為逗號，當然也可以為其他，比如”|”

      6）rowterminator=’\n’各條信息間的分割符為’\n’,一般的txt文本數據源的信息間的分割都是換行符，即一條信息占一行，也可以用其他格式如：”|\n”

　在微軟官方給的詳細如下：

　　

BULK INSERT  
   [ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ]  
      FROM 'data_file'  
     [ WITH  
    (  
   [ [ , ] BATCHSIZE = batch_size ]  
   [ [ , ] CHECK_CONSTRAINTS ]  
   [ [ , ] CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ]  
   [ [ , ] DATAFILETYPE =  
      { 'char' | 'native'| 'widechar' | 'widenative' } ]  
   [ [ , ] FIELDTERMINATOR = 'field_terminator' ]  
   [ [ , ] FIRSTROW = first_row ]  
   [ [ , ] FIRE_TRIGGERS ]  
   [ [ , ] FORMATFILE = 'format_file_path' ]  
   [ [ , ] KEEPIDENTITY ]  
   [ [ , ] KEEPNULLS ]  
   [ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ]  
   [ [ , ] LASTROW = last_row ]  
   [ [ , ] MAXERRORS = max_errors ]  
   [ [ , ] ORDER ( { column [ ASC | DESC ] } [ ,...n ] ) ]  
   [ [ , ] ROWS_PER_BATCH = rows_per_batch ]  
   [ [ , ] ROWTERMINATOR = 'row_terminator' ]  
   [ [ , ] TABLOCK ]  
   [ [ , ] ERRORFILE = 'file_name' ]  
    )]  

這里我們主要看with中的一些參數：(部分)

1)       BATCHSIZE : 指定批處理中的行數

2)       CHECK_CONSTRAINTS:啟用約束檢查，指定在大容量導入操作期間，必須檢查所有對目標表或視圖的約束。若沒有 CHECK_CONSTRAINTS 選項，則忽略所有 CHECK 和 FOREIGN KEY 約束，並在該操作后將表的約束標記為不可信。始終強制使用 UNIQUE、PRIMARY KEY 和 NOT NULL 約束。

3)       FIRE_TRIGGERS

指定將在大容量導入操作期間執行目標表中定義的所有插入觸發器。如果為針對目標表的 INSERT 操作定義了觸發器，則每次完成批處理操作時均激發觸發器。

4)       KEEPNULLS

指定空列在大容量導入操作期間應保留 Null 值，而不插入列的任何默認值

5)       ORDER ( { column [ ASC | DESC ] } [ ,...n ] )

指定如何對數據文件中的數據排序。如果根據表中的聚集索引（如果有）對要導入的數據排序，則可提高大容量導入的性能

6)       ERRORFILE ='file_name'

指定用於收集格式有誤且不能轉換為 OLE DB 行集的行的文件。這些行將按原樣從數據文件復制到此錯誤文件中。

 

--------------------------------------------------------------SqlBulkCopy分割線---------------------------------------------------------------------

 

　　在C#中，我們可以使用sqlBulkCopy去批量插入數據，其他批量插入方法不在討論。

　　

　　上代碼......

　　

 /// <summary>
        /// SqlBulkCopy批量插入數據
        /// </summary>
        /// <param name="connectionStr">鏈接字符串</param>
        /// <param name="dataTableName">表名</param>
        /// <param name="sourceDataTable">數據源</param>
        /// <param name="batchSize">一次事務插入的行數</param>
        public static void SqlBulkCopyByDataTable(string connectionStr, string dataTableName, DataTable sourceDataTable, int batchSize = 100000)
        {
            using (SqlConnection connection=new SqlConnection(connectionStr))
            {
                using (SqlBulkCopy sqlBulkCopy=new SqlBulkCopy(connectionStr,SqlBulkCopyOptions.UseInternalTransaction))
                {
                    try
                    {
                        sqlBulkCopy.DestinationTableName = dataTableName;
                        sqlBulkCopy.BatchSize = batchSize;
                        for (int i = 0; i < sourceDataTable.Columns.Count; i++)
                        {
                            sqlBulkCopy.ColumnMappings.Add(sourceDataTable.Columns[i].ColumnName,sourceDataTable.Columns[i].ColumnName);
                        }
                        sqlBulkCopy.WriteToServer(sourceDataTable); 
                    }
                    catch (Exception ex)
                    {

                        throw ex;
                    }
                }
            }
        }

      使用方式如下，這里我將插入100萬條數據，

　　在SqlBulkCopyByDataTable方法中每次插入10萬條，

　　其插入方式SqlBulkCopyOptions.UseInternalTransaction （即事務插入，可用其他方式。）

            DataTable dt = new DataTable("測試");
            dt.Columns.Add("ID",typeof(int));
            dt.Columns.Add("Name", typeof(string));
            dt.Columns.Add("Age", typeof(int));
            for (int i = 1; i <= 1000000; i++)
            {
                DataRow row = dt.NewRow();
                 row["ID"] =  i;
                 row["Name"] = "名字"+i;
                 row["Age"] = i;
                 dt.Rows.Add(row);
            }

            string connStr = System.Configuration.ConfigurationManager.ConnectionStrings["connStr"].ConnectionString;

            Stopwatch stopWatch = new Stopwatch();
            stopWatch.Start();


           SqlBulkCopyByDataTable(connStr, "T_Demo", dt); 

            Console.WriteLine(stopWatch.Elapsed);  
            Console.ReadKey();

　　　　

　　　　用時為如下。

　　　　

　　　　參考： http://blog.csdn.net/xuemoyao/article/details/8506338

　　　　本文到此結束。  

　　　  純屬回顧與粗談，並沒有細說。

　　　　請各位見諒。