EF大數據批量添加性能問題

前幾天做一個批量發消息的功能，因為要向消息表中批量寫入數據，用的EF框架的插入方法；不用不知道，一用嚇一跳；就10000條數據就耗時好幾分鍾，對應追求用戶體驗的我來說這是極不能容忍的，后來改為拼接SQL，性能提高了好幾倍；現在來分享一下經驗：

原始的方法類似這種：

        public ActionResult Add(ItemDetails entity)
        {
            var sw = new Stopwatch();
            sw.Start();
            using (db)
            {
                for (var i = 0; i < 10000; i++)
                {
                    db.ItemDetails.Add(entity);
                    db.SaveChanges();
                }
            }
            sw.Stop();
            var date = sw.Elapsed;
            return Json(string.Format("總耗時：{0}", date));
        }

 

來看看添加10000條數據耗時：

就10000條數據就耗時這么久，要是上百萬的數據量，那簡直就不能想象，再來看看優化后的：

生成SQL的方法：

public class ItemDetailBatch
    {
        public static string BatchAdd(ItemDetails entity)
        {
            SqlParameter [] paras=
            {
                new SqlParameter("@Item_Name",SqlDbType.VarChar,100), 
                new SqlParameter("@Item_Price",SqlDbType.Int), 
                new SqlParameter("@Image_Name",SqlDbType.VarChar,100), 
                new SqlParameter("@Description",SqlDbType.VarChar,100),
                new SqlParameter("@AddedBy",SqlDbType.VarChar,100)
            };
            paras[0] .Value= entity.Item_Name;
            paras[1].Value = entity.Item_Price;
            paras[2].Value = entity.Image_Name;
            paras[3].Value = entity.Description;
            paras[4].Value = entity.AddedBy;
            var sb=new StringBuilder();
            sb.Append("insert into ItemDetails (Item_Name,Item_Price,Image_Name,Description,AddedBy) ");
            sb.AppendFormat("values ('{0}',{1},'{2}','{3}','{4}')", paras[0].Value, paras[1].Value, paras[2].Value,paras[3].Value, paras[4].Value);
            return sb.ToString();
        }
    }

 

Controller層調用：

        public ActionResult Add(ItemDetails entity)
        {
            var sw = new Stopwatch();
            sw.Start();
            using (var db = new ShoppingDBConn())
            {
                var sql = new StringBuilder();
                for (int i = 0; i < 10000; i++)
                {
                    //生成SQL
                    sql.Append(ItemDetailBatch.BatchAdd(entity));
                }
                //一次性執行SQL
                db.Database.ExecuteSqlCommand(sql.ToString());
            }
            sw.Stop();
            var date = sw.Elapsed;
            return Json(string.Format("總耗時：{0}", date));
        }

界面數據：

同樣10000條總耗時：

EF沒添加一次都要向數據庫提交一次，而直接拼接SQL的方法就是減少與數據庫的交互次數，一次性提交執行所有數據；