1、面試題
分布式事務了解嗎?你們如何解決分布式事務問題的?
2、面試官心里分析
只要聊到你做了分布式系統,必問分布式事務,你對分布式事務一無所知的話,確實會很坑,你起碼得知道有哪些方案,一般怎么來做,每個方案的優缺點是什么。
現在面試,分布式系統成了標配,而分布式系統帶來的分布式事務也成了標配了。因為你做系統肯定要用事務吧,那你用事務的話,分布式系統之后肯定要用分布式事務吧。。。呵呵。。。先不說你搞過沒有,起碼你得明白有哪幾種方案,每種方案可能有啥坑?比如TCC方案的網絡問題、XA方案的一致性問題
單塊系統里的事務:
分布式系統里的事務:
3、面試題剖析
(1)兩階段提交方案/XA方案
也叫做兩階段提交事務方案,這個舉個例子,比如說咱們公司里經常tb是吧(就是團建),然后一般會有個tb主席(就是負責組織團建的那個人)。
tb,team building,團建
第一個階段,一般tb主席會提前一周問一下團隊里的每個人,說,大家伙,下周六我們去滑雪+燒烤,去嗎?這個時候tb主席開始等待每個人的回答,如果所有人都說ok,那么就可以決定一起去這次tb。如果這個階段里,任何一個人回答說,我有事不去了,那么tb主席就會取消這次活動。
第二個階段,那下周六大家就一起去滑雪+燒烤了
所以這個就是所謂的XA事務,兩階段提交,有一個事務管理器的概念,負責協調多個數據庫(資源管理器)的事務,事務管理器先問問各個數據庫你准備好了嗎?如果每個數據庫都回復ok,那么就正式提交事務,在各個數據庫上執行操作;如果任何一個數據庫回答不ok,那么就回滾事務。
這種分布式事務方案,比較適合單塊應用里,跨多個庫的分布式事務,而且因為嚴重依賴於數據庫層面來搞定復雜的事務,效率很低,絕對不適合高並發的場景。如果要玩兒,那么基於spring + JTA就可以搞定,自己隨便搜個demo看看就知道了。
這個方案,我們很少用,一般來說某個系統內部如果出現跨多個庫的這么一個操作,是不合規的。我可以給大家介紹一下, 現在微服務,一個大的系統分成幾百個服務,幾十個服務。一般來說,我們的規定和規范,是要求說每個服務只能操作自己對應的一個數據庫。
如果你要操作別的服務對應的庫,不允許直連別的服務的庫,違反微服務架構的規范,你隨便交叉胡亂訪問,幾百個服務的話,全體亂套,這樣的一套服務是沒法管理的,沒法治理的,經常數據被別人改錯,自己的庫被別人寫掛。
如果你要操作別人的服務的庫,你必須是通過調用別的服務的接口來實現,絕對不允許你交叉訪問別人的數據庫!
(2)TCC方案
TCC的全程是:Try、Confirm、Cancel。
這個其實是用到了補償的概念,分為了三個階段:
1)Try階段:這個階段說的是對各個服務的資源做檢測以及對資源進行鎖定或者預留
2)Confirm階段:這個階段說的是在各個服務中執行實際的操作
3)Cancel階段:如果任何一個服務的業務方法執行出錯,那么這里就需要進行補償,就是執行已經執行成功的業務邏輯的回滾操作
給大家舉個例子吧,比如說跨銀行轉賬的時候,要涉及到兩個銀行的分布式事務,如果用TCC方案來實現,思路是這樣的:
1)Try階段:先把兩個銀行賬戶中的資金給它凍結住就不讓操作了
2)Confirm階段:執行實際的轉賬操作,A銀行賬戶的資金扣減,B銀行賬戶的資金增加
3)Cancel階段:如果任何一個銀行的操作執行失敗,那么就需要回滾進行補償,就是比如A銀行賬戶如果已經扣減了,但是B銀行賬戶資金增加失敗了,那么就得把A銀行賬戶資金給加回去
這種方案說實話幾乎很少用人使用,我們用的也比較少,但是也有使用的場景。因為這個事務回滾實際上是嚴重依賴於你自己寫代碼來回滾和補償了,會造成補償代碼巨大,非常之惡心。
比如說我們,一般來說跟錢相關的,跟錢打交道的,支付、交易相關的場景,我們會用TCC,嚴格嚴格保證分布式事務要么全部成功,要么全部自動回滾,嚴格保證資金的正確性,在資金上出現問題
比較適合的場景:這個就是除非你是真的一致性要求太高,是你系統中核心之核心的場景,比如常見的就是資金類的場景,那你可以用TCC方案了,自己編寫大量的業務邏輯,自己判斷一個事務中的各個環節是否ok,不ok就執行補償/回滾代碼。
而且最好是你的各個業務執行的時間都比較短。
但是說實話,一般盡量別這么搞,自己手寫回滾邏輯,或者是補償邏輯,實在太惡心了,那個業務代碼很難維護。
(3)本地消息表
國外的ebay搞出來的這么一套思想
這個大概意思是這樣的
1)A系統在自己本地一個事務里操作同時,插入一條數據到消息表
2)接着A系統將這個消息發送到MQ中去
3)B系統接收到消息之后,在一個事務里,往自己本地消息表里插入一條數據,同時執行其他的業務操作,如果這個消息已經被處理過了,那么此時這個事務會回滾,這樣保證不會重復處理消息
4)B系統執行成功之后,就會更新自己本地消息表的狀態以及A系統消息表的狀態
5)如果B系統處理失敗了,那么就不會更新消息表狀態,那么此時A系統會定時掃描自己的消息表,如果有沒處理的消息,會再次發送到MQ中去,讓B再次處理
6)這個方案保證了最終一致性,哪怕B事務失敗了,但是A會不斷重發消息,直到B那邊成功為止
這個方案說實話最大的問題就在於嚴重依賴於數據庫的消息表來管理事務啥的???這個會導致如果是高並發場景咋辦呢?咋擴展呢?所以一般確實很少用
(4)可靠消息最終一致性方案
這個的意思,就是干脆不要用本地的消息表了,直接基於MQ來實現事務。比如阿里的RocketMQ就支持消息事務。
大概的意思就是:
1)A系統先發送一個prepared消息到mq,如果這個prepared消息發送失敗那么就直接取消操作別執行了
2)如果這個消息發送成功過了,那么接着執行本地事務,如果成功就告訴mq發送確認消息,如果失敗就告訴mq回滾消息
3)如果發送了確認消息,那么此時B系統會接收到確認消息,然后執行本地的事務
4)mq會自動定時輪詢所有prepared消息回調你的接口,問你,這個消息是不是本地事務處理失敗了,所有沒發送確認消息?那是繼續重試還是回滾?一般來說這里你就可以查下數據庫看之前本地事務是否執行,如果回滾了,那么這里也回滾吧。這個就是避免可能本地事務執行成功了,別確認消息發送失敗了。
5)這個方案里,要是系統B的事務失敗了咋辦?重試咯,自動不斷重試直到成功,如果實在是不行,要么就是針對重要的資金類業務進行回滾,比如B系統本地回滾后,想辦法通知系統A也回滾;或者是發送報警由人工來手工回滾和補償
這個還是比較合適的,目前國內互聯網公司大都是這么玩兒的,要不你舉用RocketMQ支持的,要不你就自己基於類似ActiveMQ?RabbitMQ?自己封裝一套類似的邏輯出來,總之思路就是這樣子的
(5)最大努力通知方案
這個方案的大致意思就是:
1)系統A本地事務執行完之后,發送個消息到MQ
2)這里會有個專門消費MQ的最大努力通知服務,這個服務會消費MQ然后寫入數據庫中記錄下來,或者是放入個內存隊列也可以,接着調用系統B的接口
3)要是系統B執行成功就ok了;要是系統B執行失敗了,那么最大努力通知服務就定時嘗試重新調用系統B,反復N次,最后還是不行就放棄
(6)你們公司是如何處理分布式事務的?
這個,說真的,確實我們這個課程沒法帶着大家來實戰,因為定位不是這個。但是如果你真的被問到,你可以這么說,我們某某特別嚴格的場景,用的是TCC來保證強一致性;然后其他的一些場景基於了阿里的RocketMQ來實現了分布式事務。
你找一個嚴格資金要求絕對不能錯的場景,你可以說你是用的TCC方案;如果是一般的分布式事務場景,訂單插入之后要調用庫存服務更新庫存,庫存數據沒有資金那么的敏感,可以用可靠消息最終一致性方案
友情提示一下,rocketmq 3.2.6之前的版本,是可以按照上面的思路來的,但是之后接口做了一些改變,我這里不再贅述了。
當然如果你願意,你可以參考可靠消息最終一致性方案來自己實現一套分布式事務,比如基於rabbitmq來玩兒。
4、一個問題
我們現在想保證我們的某個系統非常的可靠,任何一個數據都不能錯,我們用的是微服務架構,幾十個服務。結果我們一盤點,發現,如果到處都要搞的話,一個系統要做幾十個分布式事務出來。
我們的經驗,我帶幾十人的team,最大的一個項目,起碼幾百個服務,復雜的分布式大型系統,里面其實也沒幾個分布式事務。
你其實用任何一個分布式事務的這么一個方案,都會導致你那塊兒代碼會復雜10倍。很多情況下,系統A調用系統B、系統C、系統D,我們可能根本就不做分布式事務。如果調用報錯會打印異常日志。
每個月也就那么幾個bug,很多bug是功能性的,體驗性的,真的是涉及到數據層面的一些bug,一個月就幾個,兩三個?如果你為了確保系統自動保證數據100%不能錯,上了幾十個分布式事務,代碼太復雜;性能太差,系統吞吐量、性能大幅度下跌。
99%的分布式接口調用,不要做分布式事務,直接就是監控(發郵件、發短信)、記錄日志(一旦出錯,完整的日志)、事后快速的定位、排查和出解決方案、修復數據。
每個月,每隔幾個月,都會對少量的因為代碼bug,導致出錯的數據,進行人工的修復數據,自己臨時動手寫個程序,可能要補一些數據,可能要刪除一些數據,可能要修改一些字段的值。
比你做50個分布式事務,成本要來的低上百倍,低幾十倍
trade off,權衡,要用分布式事務的時候,一定是有成本,代碼會很復雜,開發很長時間,性能和吞吐量下跌,系統更加復雜更加脆弱反而更加容易出bug;好處,如果做好了,TCC、可靠消息最終一致性方案,一定可以100%保證你那快數據不會出錯。
1%,0.1%,0.01%的業務,資金、交易、訂單,我們會用分布式事務方案來保證,會員積分、優惠券、商品信息,其實不要這么搞了