Asp.net並發請求導致的數據重復插入問題

前段時間工作中，有客戶反應了系統中某類待辦重復出現兩次的情況。我核實了數據之后，分析認為是並發請求下導致的數據不一致性問題，並做了重現。其實這並不是一個需要頻繁調用的功能，但是客戶連續點擊了兩次，導致出現了並發問題。除了前端優化，這里重點探討后台方面代碼層面的處理，最終解決問題。

一、情景分析

Asp.net程序部署Web服務，是多主線程並發執行的，當多個用戶請求進入同一個后台函數時，后進入的請求有可能會獲取到非最新狀態的數據。

結合我遇到的實際情況舉個例子，假設后台函數Func1，先讀取表TableA,TableB的數據，進行處理后，存入TableB中，而數據庫事務執行會在函數結束前才提交。請求Req1執行Func1提交事務之前，Req2又進入Func1並讀取了TableA，TableB的數據，這時Req1執行完成，這就相當於Req2拿到的已經是舊的數據，在舊的數據的基礎上再做數據處理操作，結果自然不正確了。

說到這里，你可能還不能想象具體會出現什么問題，而確實這種並發情況在非冪等功能下才會導致數據錯誤，下面就舉實例說明。

二、實例重現

現在有數據表Info，Info2，Info2的數據就是基於Info表數據產生的，兩個表都有字段-證件號碼IdentNo。

函數SyncWork()的功能為：

1，讀取Info表和Info2表中共同的IdentNo行數據，將Info表中的其它字段同步到Info2表；

2，讀取Info表中有，而Info2表中沒有的IdentNo行數據，將這些數據插入Info2表。

表實體代碼實現如下：

    /// <summary>
    /// 信息表
    /// </summary>
    public class Info
    {
        public int Id { get; set; }
        /// <summary>
        /// 證件號碼
        /// </summary>
        public string IdentNo { get; set; }
        /// <summary>
        /// 姓名
        /// </summary>
        public string Name { get; set; }
        /// <summary>
        /// 愛好
        /// </summary>
        public string Hobby { get; set; }
        /// <summary>
        /// 備注信息
        /// </summary>
        public string Bz { get; set; }
    }

    /// <summary>
    /// 信息表2
    /// </summary>
    public class Info2
    {
        public int Id { get; set; }
        /// <summary>
        /// 證件號碼
        /// </summary>
        public string IdentNo { get; set; }
        /// <summary>
        /// 姓名
        /// </summary>
        public string Name { get; set; }
        /// <summary>
        /// 愛好
        /// </summary>
        public string Hobby { get; set; }
        /// <summary>
        /// 創建時間
        /// </summary>
        public DateTime CreateTime { get; set; }
        /// <summary>
        /// 最后修改時間
        /// </summary>
        public DateTime? UpdateTime { get; set; }
        /// <summary>
        /// 評分
        /// </summary>
        public int? Score { get; set; }
    }

 SyncWork()代碼實現如下，代碼中加入了輔助的輸出信息：

        public static string SyncWork()
        {
            StringBuilder sb = new StringBuilder();
            //
            int threadId = Thread.CurrentThread.ManagedThreadId;
            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}.線程Id：{threadId}");
            //
            MyDbContext db = new MyDbContext();
            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}.db初始化");
            //新增數據
            var dataToAdd = db.Info.Where(x => !db.Info2.Select(y => y.IdentNo).Contains(x.IdentNo))
                .ToList();
            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}.獲取待新增數據{dataToAdd.Count}條");
            dataToAdd.ForEach(x =>
            {
                var info2 = new Info2
                {
                    IdentNo = x.IdentNo,
                    Name = x.Name,
                    Hobby = x.Hobby,
                    CreateTime = DateTime.Now
                };
                db.Info2.Add(info2);
            });
            //更新原有數據
            var dataToEdit = db.Info.AsQueryable().Join(db.Info2.AsQueryable(), m => m.IdentNo, n => n.IdentNo, 
                (m, n) =>  new
                {
                    info = m,
                    info2 = n
                })
                .ToList();
            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}獲取待更新數據{dataToEdit.Count}條");
            dataToEdit.ForEach(x =>
            {
                x.info2.Name = x.info.Name;
                x.info2.Hobby = x.info.Hobby;
                x.info2.UpdateTime = DateTime.Now;
            });
            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}開始休眠5s");
            Thread.Sleep(5000);
            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}dbSaveBegin");
            db.SaveChanges();
            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}dbSaveEnd");
            return sb.ToString();
        }

 里邊的這幾行代碼就是問題重現的重點了：

            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}開始休眠5s");
            Thread.Sleep(5000);
            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}dbSaveBegin");
            db.SaveChanges();
            sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}dbSaveEnd");

在db提交之前，我們讓此線程休眠了5s，以模仿現實中一些耗時的操作。這5s期間可能有后續的N個新請求線程進入此函數，那么這些線程獲取的數據都會是同樣的舊數據了。第一個執行完函數的線程，提交了更改，而后續這些線程再提交的更改，便是基於舊的數據做的更改了。

下面開始重新問題，我們執行一次請求，兩表數據情況分別如下：

 然后，Info表中新增了一條數據：

 這時，我們再執行請求，預期結果應該將行003老虎的數據添加到Info2中，但是我們現在模擬並發，連續調用2次請求看看結果：

 

可以看到，居然將003老虎的數據插入了兩次。這就是並發帶來的副作用了。

附上兩次請求的輔助輸出信息：

//Request1
22:50:05:953.線程Id：44
22:50:05:953.db初始化
22:50:05:982.獲取待新增數據1條
22:50:06:000.獲取待更新數據2條
22:50:06:001.開始休眠5s
22:50:11:001.dbSaveBegin
22:50:11:084.dbSaveEnd
//Request2
22:50:07:240.線程Id：48
22:50:07:240.db初始化
22:50:07:270.獲取待新增數據1條
22:50:07:287.獲取待更新數據2條
22:50:07:287.開始休眠5s
22:50:12:287.dbSaveBegin
22:50:12:339.dbSaveEnd

三、問題解決

既然問題是並發請求導致的，而這個功能不是需要頻繁調用的功能，最簡便的解決方法就是，我們可以設置此功能同一時間只能由一個線程來訪問，即通過lock()的方式。

最終實現代碼如下：

    public class InfoSync
    {
        private static object syncObject = new object();
        public static string Sync()
        {
            lock (syncObject)
            {
                return SyncWork();
            }
        }
        private static string SyncWork()
        {
            //...  
        }
    }

同時貼出示例控制器的簡單實現：

    public class DataController : Controller
    {
        // GET: Data
        public ActionResult Index()
        {
            try
            {
                var str = InfoSync.Sync();
                return Content(str);
            }
            catch (Exception ex)
            {
                return Content($"程序發生錯誤：{ex.Message}\n內部錯誤：{ex.InnerException.Message}");
            }
        }
    }

四、總結

類似文中數據同步並發情況的實際應用情況還有很多，比如系統有時會需要產生編號，我們會訪問數據庫中這類編號的最新值，然后計算出下一個編號值，如果不處理並發情況，業務量大時可能就會出現重復編號了。

本文中，針對這類請求並發問題，通過代碼鎖的方式，將特定功能的並發請求執行轉化為隊列請求執行，從而避免了問題的發生。

當然，處理並發還有其它途徑，如通過數據庫鎖的方式，再如分布式部署情況下，我們用代碼鎖的方式也會失效了，實際工作中還需要根據具體情況采用最小代價成本的處理方式。

--End