碼上快樂

相關內容    簡體    繁體

SQL Server 批量插入數據的兩種方法

本文轉載自   查看原文   2018-11-22 17:54   3388    mysql

 

      在SQL Server 中插入一條數據使用Insert語句，但是如果想要批量插入一堆數據的話，循環使用Insert不僅效率低，而且會導致SQL一系統性能問題。下面介紹SQL Server支持的兩種批量數據插入方法：Bulk和表值參數(Table-Valued Parameters)。

運行下面的腳本，建立測試數據庫和表值參數。

 

[c-sharp]  view plain copy
 
 
 
  1. --Create DataBase  
  2. create database BulkTestDB;  
  3. go  
  4. use BulkTestDB;  
  5. go  
  6. --Create Table  
  7. Create table BulkTestTable(  
  8. Id int primary key,  
  9. UserName nvarchar(32),  
  10. Pwd varchar(16))  
  11. go  
  12. --Create Table Valued  
  13. CREATE TYPE BulkUdt AS TABLE  
  14.   (Id int,  
  15.    UserName nvarchar(32),  
  16.    Pwd varchar(16))  

 

 

下面我們使用最簡單的Insert語句來插入100萬條數據，代碼如下：

 

[c-sharp]  view plain copy
 
 
 
  1. Stopwatch sw = new Stopwatch();  
  2.   
  3. SqlConnection sqlConn = new SqlConnection(  
  4.     ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);//連接數據庫  
  5.   
  6. SqlCommand sqlComm = new SqlCommand();  
  7. sqlComm.CommandText = string.Format("insert into BulkTestTable(Id,UserName,Pwd)values(@p0,@p1,@p2)");//參數化SQL  
  8. sqlComm.Parameters.Add("@p0", SqlDbType.Int);  
  9. sqlComm.Parameters.Add("@p1", SqlDbType.NVarChar);  
  10. sqlComm.Parameters.Add("@p2", SqlDbType.VarChar);  
  11. sqlComm.CommandType = CommandType.Text;  
  12. sqlComm.Connection = sqlConn;  
  13. sqlConn.Open();  
  14. try  
  15. {  
  16.     //循環插入100萬條數據，每次插入10萬條，插入10次。  
  17.     for (int multiply = 0; multiply < 10; multiply++)  
  18.     {  
  19.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
  20.         {  
  21.   
  22.             sqlComm.Parameters["@p0"].Value = count;  
  23.             sqlComm.Parameters["@p1"].Value = string.Format("User-{0}", count * multiply);  
  24.             sqlComm.Parameters["@p2"].Value = string.Format("Pwd-{0}", count * multiply);  
  25.             sw.Start();  
  26.             sqlComm.ExecuteNonQuery();  
  27.             sw.Stop();  
  28.         }  
  29.         //每插入10萬條數據后，顯示此次插入所用時間  
  30.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
  31.     }  
  32. }  
  33. catch (Exception ex)  
  34. {  
  35.     throw ex;  
  36. }  
  37. finally  
  38. {  
  39.     sqlConn.Close();  
  40. }  
  41.   
  42. Console.ReadLine();  

 

耗時圖如下：

使用Insert語句插入10萬數據的耗時圖

由於運行過慢，才插入10萬條就耗時72390 milliseconds，所以我就手動強行停止了。

 

下面看一下使用Bulk插入的情況：

bulk方法主要思想是通過在客戶端把數據都緩存在Table中，然后利用SqlBulkCopy一次性把Table中的數據插入到數據庫

代碼如下：

 

[c-sharp]  view plain copy
 
 
 
  1. public static void BulkToDB(DataTable dt)  
  2. {  
  3.     SqlConnection sqlConn = new SqlConnection(  
  4.         ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  
  5.     SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn);  
  6.     bulkCopy.DestinationTableName = "BulkTestTable";  
  7.     bulkCopy.BatchSize = dt.Rows.Count;  
  8.   
  9.     try  
  10.     {  
  11.         sqlConn.Open();  
  12.     if (dt != null && dt.Rows.Count != 0)  
  13.         bulkCopy.WriteToServer(dt);  
  14.     }  
  15.     catch (Exception ex)  
  16.     {  
  17.         throw ex;  
  18.     }  
  19.     finally  
  20.     {  
  21.         sqlConn.Close();  
  22.         if (bulkCopy != null)  
  23.             bulkCopy.Close();  
  24.     }  
  25. }  
  26.   
  27. public static DataTable GetTableSchema()  
  28. {  
  29.     DataTable dt = new DataTable();  
  30.     dt.Columns.AddRange(new DataColumn[]{  
  31.         new DataColumn("Id",typeof(int)),  
  32.         new DataColumn("UserName",typeof(string)),  
  33.     new DataColumn("Pwd",typeof(string))});  
  34.   
  35.     return dt;  
  36. }  
  37.   
  38. static void Main(string[] args)  
  39. {  
  40.     Stopwatch sw = new Stopwatch();  
  41.     for (int multiply = 0; multiply < 10; multiply++)  
  42.     {  
  43.         DataTable dt = Bulk.GetTableSchema();  
  44.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
  45.         {  
  46.             DataRow r = dt.NewRow();  
  47.             r[0] = count;  
  48.             r[1] = string.Format("User-{0}", count * multiply);  
  49.             r[2] = string.Format("Pwd-{0}", count * multiply);  
  50.             dt.Rows.Add(r);  
  51.         }  
  52.         sw.Start();  
  53.         Bulk.BulkToDB(dt);  
  54.         sw.Stop();  
  55.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
  56.     }  
  57.   
  58.     Console.ReadLine();  
  59. }  

 

耗時圖如下：

使用Bulk插入100萬數據的耗時圖

可見，使用Bulk后，效率和性能明顯上升。使用Insert插入10萬數據耗時72390，而現在使用Bulk插入100萬數據才耗時17583。

 

最后再看看使用表值參數的效率，會另你大為驚訝的。

 

表值參數是SQL Server 2008新特性，簡稱TVPs。對於表值參數不熟悉的朋友，可以參考最新的book online，我也會另外寫一篇關於表值參數的博客，不過此次不對表值參數的概念做過多的介紹。言歸正傳，看代碼：

 

[c-sharp]  view plain copy
 
 
 
  1. public static void TableValuedToDB(DataTable dt)  
  2. {  
  3.     SqlConnection sqlConn = new SqlConnection(  
  4.       ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  
  5.     const string TSqlStatement =  
  6.      "insert into BulkTestTable (Id,UserName,Pwd)" +  
  7.      " SELECT nc.Id, nc.UserName,nc.Pwd" +  
  8.      " FROM @NewBulkTestTvp AS nc";  
  9.     SqlCommand cmd = new SqlCommand(TSqlStatement, sqlConn);  
  10.     SqlParameter catParam = cmd.Parameters.AddWithValue("@NewBulkTestTvp", dt);  
  11.     catParam.SqlDbType = SqlDbType.Structured;  
  12.     //表值參數的名字叫BulkUdt，在上面的建立測試環境的SQL中有。  
  13.     catParam.TypeName = "dbo.BulkUdt";  
  14.     try  
  15.     {  
  16.       sqlConn.Open();  
  17.       if (dt != null && dt.Rows.Count != 0)  
  18.       {  
  19.           cmd.ExecuteNonQuery();  
  20.       }  
  21.     }  
  22.     catch (Exception ex)  
  23.     {  
  24.       throw ex;  
  25.     }  
  26.     finally  
  27.     {  
  28.       sqlConn.Close();  
  29.     }  
  30. }  
  31.   
  32. public static DataTable GetTableSchema()  
  33. {  
  34.     DataTable dt = new DataTable();  
  35.     dt.Columns.AddRange(new DataColumn[]{  
  36.       new DataColumn("Id",typeof(int)),  
  37.       new DataColumn("UserName",typeof(string)),  
  38.       new DataColumn("Pwd",typeof(string))});  
  39.   
  40.     return dt;  
  41. }  
  42.   
  43. static void Main(string[] args)  
  44. {  
  45.     Stopwatch sw = new Stopwatch();  
  46.     for (int multiply = 0; multiply < 10; multiply++)  
  47.     {  
  48.         DataTable dt = TableValued.GetTableSchema();  
  49.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
  50.         {          
  51.             DataRow r = dt.NewRow();  
  52.             r[0] = count;  
  53.             r[1] = string.Format("User-{0}", count * multiply);  
  54.             r[2] = string.Format("Pwd-{0}", count * multiply);  
  55.             dt.Rows.Add(r);  
  56.         }  
  57.         sw.Start();  
  58.         TableValued.TableValuedToDB(dt);  
  59.         sw.Stop();  
  60.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
  61.     }  
  62.   
  63.     Console.ReadLine();  
  64. }  

 

耗時圖如下：

使用表值參數插入100萬數據的耗時圖

比Bulk還快5秒。

 

 

SQLBulkCopy，用於數據庫之間大批量的數據傳遞。通常用於新，舊數據庫之間數據的更新。即使表結構完全不同，也可以通過字段間的對應關系，順利的將數據導過來。

首先，SQLBulkCopy需要2個連接。分別連接到不同的舊表所在的數據庫，新表所在的數據庫。

其次，我們要從舊數據庫中，把導出的字段讀取出來。用什么讀呢？可以用Datatable，也可以用SqlDataReader。因為SqlDataReader不占用內存，對大批量的數據復制，不需要事先導入到系統。所以就用SqlDataReader了。

讀出后，設定對應關系，設定目標表名，寫入。就這么簡單。速度非常快！

初始化Connection對象

SqlConnection ConnectionNew=new SqlConnection("連接信息");

SqlConnection ConnectionOld=new SqlConnection("連接信息");

            try
            {

//1.在舊表中，用SqlDataReader讀取出信息
                SqlCommand cmd = new SqlCommand(SQL, ConnectionOld);
                sdr = cmd.ExecuteReader();

               //2.初始化SqlBulkCopy對象，用新的連接作為參數。

                SqlBulkCopy bulkCopy = new SqlBulkCopy(ConnectionNew);

              //3.寫對應關系。如舊表的People列的數據，對應新表Human列，那么就寫bulkCopy.ColumnMappings.Add("People","Human")

              //如果兩張表的結構一樣，那么對應關系就不用寫了。

             //我是用哈希表存儲對應關系的，哈希表作為參數到傳入方法中,key的值用來存儲舊表的字段名，VALUE的值用來存儲新表的值
                foreach (string str in HTDuiYing.Keys)
                {
                    bulkCopy.ColumnMappings.Add(str, HTDuiYing[str].ToString());
                }

 

               //4.設置目標表名
                bulkCopy.DestinationTableName = TableNmae;

                //額外,可不寫：設置一次性處理的行數。這個行數處理完后，會激發SqlRowsCopied()方法。默認為1
                bulkCopy.NotifyAfter = 10;

               //額外,可不寫：設置激發的SqlRowsCopied()方法，這里為bulkCopy_SqlRowsCopied
                bulkCopy.SqlRowsCopied += new SqlRowsCopiedEventHandler(bulkCopy_SqlRowsCopied);

               //OK，開始傳數據！
                bulkCopy.WriteToServer(sdr);
            }

          //激發的方法寫在外頭

         private void bulkCopy_SqlRowsCopied(object sender, SqlRowsCopiedEventArgs e)
        {
            執行的內容。
            這里有2個元素值得拿來用
            e.RowsCopied，返回數值類型，表示當前已經復制的行數
            e.Abort，用於賦值true or false，用於停止賦值的操作 

        }

 

 由於不同批次在不同事務中執行，因此，如果在批量復制操作期間發生錯誤，則當前批次中的所有行都將被回滾，但以前批次中的行將保留在數據庫中。

 

比如：批量復制100條數據到數據庫匯總，batchsize設置為10.則沒10條數據復制作為一個事務，整個100條數據的復制操作被分割為10個獨立的事務。如果復制到第56條數據時（第6個事務），出錯了。則前50條數據提交到數據庫中，只回滾出錯的事務。

 

  如果由於發生錯誤而需要回滾整個批量復制操作，或者批量復制應作為更大的可回滾進程的一部分執行，則可以將 SQLTransaction 對象提供給 SqlBulkCopy 構造函數.

 

  示例：

 

 using (SqlConnection destinationConnection = new SqlConnection(connectionString))

 

            {
                destinationConnection.Open();
                using (SqlTransaction transaction = destinationConnection.BeginTransaction())
                {
                    using (SqlBulkCopy bulkCopy = new SqlBulkCopy( destinationConnection, SqlBulkCopyOptions.Default, transaction))
                    {
                        bulkCopy.BatchSize = 10;
                        bulkCopy.DestinationTableName = "dbo.BulkCopyDemoMatchingColumns";

                        try
                        {
                            bulkCopy.WriteToServer(reader);
                            transaction.Commit();
                        }
                        catch (Exception ex)
                        {
                            Console.WriteLine(ex.Message);
                            transaction.Rollback();
                        }
                        finally
                        {
                            reader.Close();
                        }
                    }
                }
            }

 


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 SQL Server 批量插入數據的兩種方法 - 轉 百萬級數據的批量插入的兩種方法測試 SQL插入多行的兩種方法 SQL Server 復制表及數據的兩種方法 SQL Server 批量插入數據的方法 sql server 數據庫mdf與ldf文件的導入兩種方法 sql server 批量插入數據 sql server中批量插入與更新兩種解決方案分享 sql server中批量插入與更新兩種解決方案分享 sql server批量插入與更新兩種解決方案
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM