實現冪等性的幾種方案


舉個例子:
有一個訂單系統,對外提供了一個處理接口,
如果有個訂單001是要扣除用戶的100塊錢,那么訂單001被多次調用,
也只會處理成功一次,也就是只會扣除用戶100塊。
也可以理解為去除重復調用

 

例如:

1. 前端重復提交選中的數據,應該后台只產生對應這個數據的一個反應結果。

2. 我們發起一筆付款請求,應該只扣用戶賬戶一次錢,當遇到網絡重發或系統bug重發,也應該只扣一次錢;

3. 發送消息,也應該只發一次,同樣的短信發給用戶,用戶會崩潰;

4. 創建業務訂單,一次業務請求只能創建一個,創建多個就會出大問題。

等等很多重要的情況,這些邏輯都需要冪等的特性來支持。

實現冪等性的技術方案

1. 查詢操作

查詢一次和查詢多次,在數據不變的情況下,查詢結果是一樣的,select是天然的冪等操作。

2. 刪除操作

刪除操作也是冪等的,刪除一次和多次刪除都是把數據刪除。(注意可能返回結果不一樣,刪除的數據不存在,返回0,刪除的數據多條,返回結果多個)。

3.唯一索引,防止新增臟數據

比如:支付寶的資金賬戶,支付寶也有用戶賬戶,每個用戶只能有一個資金賬戶,怎么防止給用戶創建資金賬戶多個,那么給資金賬戶表中的用戶ID加唯一索引,所以一個用戶新增成功一個資金賬戶記錄。

要點:唯一索引或唯一組合索引來防止新增數據存在臟數據 (當表存在唯一索引,並發時新增報錯時,再查詢一次就可以了,數據應該已經存在了,返回結果即可)。

4. token機制,防止頁面重復提交

業務要求:頁面的數據只能被點擊提交一次;

發生原因:由於重復點擊或者網絡重發,或者nginx重發等情況會導致數據被重復提交。

解決辦法:

集群環境:采用token加redis(redis單線程的,處理需要排隊)

單JVM環境:采用token加redis或token加jvm內存

處理流程:

1. 數據提交前要向服務的申請token,token放到redis或jvm內存,token有效時間

2. 提交后后台校驗token,同時刪除token,生成新的token返回

token特點: 要申請,一次有效性,可以限流

注意:redis要用刪除操作來判斷token,刪除成功代表token校驗通過,如果用select+delete來校驗token,存在並發問題,不建議使用

5. 悲觀鎖

獲取數據的時候加鎖獲取

 select * from table_xxx where id='xxx' for update; 

注意:id字段一定是主鍵或者唯一索引,不然是鎖表,會出事的。

悲觀鎖使用時一般伴隨事務一起使用,數據鎖定時間可能會很長,根據實際情況選用

6. 樂觀鎖

樂觀鎖只是在更新數據那一刻鎖表,其他時間不鎖表,所以相對於悲觀鎖,效率更高。

樂觀鎖的實現方式多種多樣可以通過version或者其他狀態條件:

1. 通過版本號實現

update table_xxx set name=#name#,version=version+1 where version=#version# 

2. 通過條件限制

update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0 

要求:quality-#subQuality# >= ,這個情景適合不用版本號,只更新是做數據安全校驗,適合庫存模型,扣份額和回滾份額,性能更高。

注意:樂觀鎖的更新操作,最好用主鍵或者唯一索引來更新,這樣是行鎖,否則更新時會鎖表,上面兩個sql改成下面的兩個更好。

update table_xxx set name=#name#,version=version+1 where id=#id# and version=#version# 
update table_xxx set avai_amount=avai_amount-#subAmount# where id=#id# and avai_amount-#subAmount# >= 0 

7. 分布式鎖

還是拿插入數據的例子,如果是分布是系統,構建全局唯一索引比較困難,例如唯一性的字段沒法確定,這時候可以引入分布式鎖,通過第三方的系統(redis或zookeeper),在業務系統插入數據或者更新數據,獲取分布式鎖,然后做操作,之后釋放鎖,這樣其實是把多線程並發的鎖的思路,引入多多個系統,也就是分布式系統中得解決思路。

要點:某個長流程處理過程要求不能並發執行,可以在流程執行之前根據某個標志(用戶ID+后綴等)獲取分布式鎖,其他流程執行時獲取鎖就會失敗,也就是同一時間該流程只能有一個能執行成功,執行完成后,釋放分布式鎖(分布式鎖要第三方系統提供)。

8. select + insert

並發不高的后台系統,或者一些任務JOB,為了支持冪等,支持重復執行,簡單的處理方法是,先查詢下一些關鍵數據,判斷是否已經執行過,在進行業務處理,就可以了。

注意:核心高並發流程不要用這種方法。

9. 狀態機冪等

在設計單據相關的業務,或者是任務相關的業務,肯定會涉及到狀態機(狀態變更圖),就是業務單據上面有個狀態,狀態在不同的情況下會發生變更,一般情況下存在有限狀態機,這時候,如果狀態機已經處於下一個狀態,這時候來了一個上一個狀態的變更,理論上是不能夠變更的,這樣的話,保證了有限狀態機的冪等。

注意:訂單等單據類業務,存在很長的狀態流轉,一定要深刻理解狀態機,對業務系統設計能力提高有很大幫助。

10. 對外提供接口的api如何保證冪等

如銀聯提供的付款接口:需要接入商戶提交付款請求時附帶:source來源,seq序列號

source+seq在數據庫里面做唯一索引,防止多次付款,(並發時,只能處理一個請求)。

重點:

對外提供接口為了支持冪等調用,接口有兩個字段必須傳,一個是來源source,一個是來源方序列號seq,這個兩個字段在提供方系統里面做聯合唯一索引,這樣當第三方調用時,先在本方系統里面查詢一下,是否已經處理過,返回相應處理結果;沒有處理過,進行相應處理,返回結果。注意,為了冪等友好,一定要先查詢一下,是否處理過該筆業務,不查詢直接插入業務系統,會報錯,但實際已經處理了。

最后總結:

冪等性應該是合格程序員的一個基因,在設計系統時,是首要考慮的問題,尤其是在像第三方支付平台,銀行,互聯網金融公司等涉及的網上資金系統,既要高效,數據也要准確,所以不能出現多扣款,多打款等問題,這樣會很難處理,並會大大降低用戶體驗。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM