《轉》c#中往mysql里批量插入上萬條數據

轉自：http://blog.sina.com.cn/s/blog_4deb16580100i87e.html

前面文章說采集了很多數據，要存入mysql數據庫。之所以選擇mysql數據庫，原因只不過是mysql很方便安裝應用范圍也廣，又小，也挺好用。呵呵

我仍然在csdn詢問，http://bbs.csdn.net/topics/390357952?page=1#post-393577221，綜合采納了各位大俠的意見，反正最后我在本機上插入1--5萬條數據的時候，好像沒感覺到占用什么時間。

我使用了mysql的批量數據格式，

比如
INSERT INTO TABLES (LABLE1,LABLE2,LABLE3,...) 
VALUES(NUM11,NUM12,NUM13,...), 
(NUM21,NUM22,NUM23,...),
....
(NUMn1,NUMn2,NUMn3,..);

 

我在前文中敘述的，每個賬戶的每個采集點就會生成幾百個數據，這幾百個數據我組合成上述一條語句，20多個賬戶多個采集點我一共生成上述語句300--800多條，每條的數據項300-500個，所以每次插入的數據共計10000--50000條。

我把每條insert語句都保存在一個SQLStringList之中，又 在網上找點資料，采用了事務處理方式，本來我的事務方式是所有sql語句放在一個事務里，但有熱心朋友告知“每當執行1000條DBCommand就提交(Commit)事務，然后再次開啟事務，這樣比較好。把過多的命令放在一個事務中，一旦超過物理內存分配限制，你的程序會變得很慢很慢。”

所以我后來修改了一下，每500條語句重啟一次事務。c#代碼如下：

 

/// <summary>  
        /// 執行多條SQL語句，實現數據庫事務。  
        /// </summary>mysql數據庫  
        /// <param name="SQLStringList">多條SQL語句</param>  
        public static void ExecuteSqlTran(List<string> SQLStringList)  
        {  
            using (MySqlConnection conn = new MySqlConnection(MySqlHelper.ConnStr))  
            {  
                conn.Open();  
                MySqlCommand cmd = new MySqlCommand();  
                cmd.Connection = conn;  
                MySqlTransaction tx = conn.BeginTransaction();  
                cmd.Transaction = tx;  
                try  
                {  
                    for (int n = 0; n < SQLStringList.Count; n++)  
                    {  
                        string strsql = SQLStringList[n].ToString();  
                        if (strsql.Trim().Length > 1)  
                        {  
                            cmd.CommandText = strsql;  
                            cmd.ExecuteNonQuery();  
                        }  
                       //后來加上的  
                       if (n > 0 && (n % 500 == 0 || n == SQLStringList.Count - 1))  
                        {  
                            tx.Commit();  
                            tx = conn.BeginTransaction();  
                        }  
                    }  
                    //tx.Commit();//原來一次性提交  
                }  
                catch (System.Data.SqlClient.SqlException E)  
                {  
                    tx.Rollback();  
                    throw new Exception(E.Message);  
                }  
            }  
        }