文章很長，建議收藏起來，慢慢讀! 瘋狂創客圈為小伙伴奉上以下珍貴的學習資源：
- 瘋狂創客圈 經典圖書 ： 《Netty Zookeeper Redis 高並發實戰》 面試必備 + 大廠必備 + 漲薪必備
- 瘋狂創客圈 經典圖書 ： 《SpringCloud、Nginx高並發核心編程》 面試必備 + 大廠必備 + 漲薪必備
- 資源寶庫： 必備 Java 網盤資源大集合 價值>1000元 隨便取 GO->【博客園總入口 】
- 獨孤九劍：本地虛擬機 100W連接 高並發實驗，瞬間提升Java內力
- 最純粹的技術交流：和大廠小伙伴、技術高手、架構師 進行純粹的的技術問題交流、探討求助、問題圍觀學習
史上最全 Java 面試題 30 專題 總目錄
面試問題交流、簡歷交流、Offer交流、技術交流
常見的一致性協議 有二階段提交（2PC）、三階段提交（3PC）、Paxos、Raft等算法，在本文將介紹他們中的一部分。
2PC
2PC即Two-Phase Commit，二階段提交。廣泛應用在數據庫領域，為了使得基於分布式架構的所有節點可以在進行事務處理時能夠保持原子性和一致性。絕大部分關系型數據庫，都是基於2PC完成分布式的事務處理。
顧名思義，2PC分為兩個階段處理，
階段一：提交事務請求
- 事務詢問。協調者向所有參與者發送事務內容，詢問是否可以執行提交操作，並開始等待各參與者進行響應；
- 執行事務。各參與者節點，執行事務操作，並將Undo和Redo操作計入本機事務日志；
- 各參與者向協調者反饋事務問詢的響應。成功執行返回Yes，否則返回No。
階段二：執行事務提交
協調者在階段二決定是否最終執行事務提交操作。這一階段包含兩種情形：
執行事務提交
所有參與者reply Yes，那么執行事務提交。
- 發送提交請求。協調者向所有參與者發送Commit請求；
- 事務提交。參與者收到Commit請求后，會正式執行事務提交操作，並在完成提交操作之后，釋放在整個事務執行期間占用的資源；
- 反饋事務提交結果。參與者在完成事務提交后，寫協調者發送Ack消息確認；
- 完成事務。協調者在收到所有參與者的Ack后，完成事務。
中斷事務
事情總會出現意外，當存在某一參與者向協調者發送No響應，或者等待超時。協調者只要無法收到所有參與者的Yes響應，就會中斷事務。
- 發送回滾請求。協調者向所有參與者發送Rollback請求；
- 回滾。參與者收到請求后，利用本機Undo信息，執行Rollback操作。並在回滾結束后釋放該事務所占用的系統資源；
- 反饋回滾結果。參與者在完成回滾操作后，向協調者發送Ack消息；
- 中斷事務。協調者收到所有參與者的回滾Ack消息后，完成事務中斷。
2PC具有明顯的優缺點：
優點主要體現在實現原理簡單；
缺點比較多：
- 2PC的提交在執行過程中，所有參與事務操作的邏輯都處於阻塞狀態，也就是說，各個參與者都在等待其他參與者響應，無法進行其他操作；
- 協調者是個單點，一旦出現問題，其他參與者將無法釋放事務資源，也無法完成事務操作；
- 數據不一致。當執行事務提交過程中，如果協調者向所有參與者發送Commit請求后，發生局部網絡異常或者協調者在尚未發送完Commit請求，即出現崩潰，最終導致只有部分參與者收到、執行請求。於是整個系統將會出現數據不一致的情形；
- 保守。2PC沒有完善的容錯機制，當參與者出現故障時，協調者無法快速得知這一失敗，只能嚴格依賴超時設置來決定是否進一步的執行提交還是中斷事務。
3PC
針對2PC的缺點，研究者提出了3PC，即Three-Phase Commit。作為2PC的改進版，3PC將原有的兩階段過程，重新划分為CanCommit、PreCommit和do Commit三個階段。
階段一：CanCommit
- 事務詢問。協調者向所有參與者發送包含事務內容的canCommit的請求，詢問是否可以執行事務提交，並等待應答；
- 各參與者反饋事務詢問。正常情況下，如果參與者認為可以順利執行事務，則返回Yes，否則返回No。
階段二：PreCommit
在本階段，協調者會根據上一階段的反饋情況來決定是否可以執行事務的PreCommit操作。有以下兩種可能：
執行事務預提交
- 發送預提交請求。協調者向所有節點發出PreCommit請求，並進入prepared階段；
- 事務預提交。參與者收到PreCommit請求后，會執行事務操作，並將Undo和Redo日志寫入本機事務日志；
- 各參與者成功執行事務操作，同時將反饋以Ack響應形式發送給協調者，同事等待最終的Commit或Abort指令。
中斷事務
加入任意一個參與者向協調者發送No響應，或者等待超時，協調者在沒有得到所有參與者響應時，即可以中斷事務：
- 發送中斷請求。 協調者向所有參與者發送Abort請求；
- 中斷事務。無論是收到協調者的Abort請求，還是等待協調者請求過程中出現超時，參與者都會中斷事務；
階段三：doCommit
在這個階段，會真正的進行事務提交，同樣存在兩種可能。
執行提交
- 發送提交請求。假如協調者收到了所有參與者的Ack響應，那么將從預提交轉換到提交狀態，並向所有參與者，發送doCommit請求；
- 事務提交。參與者收到doCommit請求后，會正式執行事務提交操作，並在完成提交操作后釋放占用資源；
- 反饋事務提交結果。參與者將在完成事務提交后，向協調者發送Ack消息；
- 完成事務。協調者接收到所有參與者的Ack消息后，完成事務。
中斷事務
在該階段，假設正常狀態的協調者接收到任一個參與者發送的No響應，或在超時時間內，仍舊沒收到反饋消息，就會中斷事務：
- 發送中斷請求。協調者向所有的參與者發送abort請求；
- 事務回滾。參與者收到abort請求后，會利用階段二中的Undo消息執行事務回滾，並在完成回滾后釋放占用資源；
- 反饋事務回滾結果。參與者在完成回滾后向協調者發送Ack消息；
- 中端事務。協調者接收到所有參與者反饋的Ack消息后，完成事務中斷。
3PC的優缺點：
3PC有效降低了2PC帶來的參與者阻塞范圍，並且能夠在出現單點故障后繼續達成一致；
但3PC帶來了新的問題，在參與者收到preCommit消息后，如果網絡出現分區，協調者和參與者無法進行后續的通信，這種情況下，參與者在等待超時后，依舊會執行事務提交，這樣會導致數據的不一致。
Paxos協議
Paxos協議 解決了什么問題
像 2PC 和 3PC 都需要引入一個協調者的角色，當協調者 down 掉之后，整個事務都無法提交，參與者的資源都出於鎖定的狀態，對於系統的影響是災難性的，而且出現網絡分區的情況，很有可能會出現數據不一致的情況。有沒有不需要協調者角色，每個參與者來協調事務呢，在網絡分區的情況下，又能最大程度保證一致性的解決方案呢。此時 Paxos 出現了。
Paxos 算法是 Lamport 於 1990 年提出的一種基於消息傳遞的一致性算法。由於算法難以理解起初並沒有引起人們的重視，Lamport在八年后重新發表，即便如此Paxos算法還是沒有得到重視。2006 年 Google 的三篇論文石破天驚，其中的 chubby 鎖服務使用Paxos 作為 chubbycell 中的一致性，后來才得到關注。
Paxos 協議是一個解決分布式系統中，多個節點之間就某個值（提案）達成一致（決議）的通信協議。它能夠處理在少數節點離線的情況下，剩余的多數節點仍然能夠達成一致。即每個節點，既是參與者，也是決策者
Paxos 協議的角色（可以是同一台機器）
由於 Paxos 和下文提到的 zookeeper 使用的 ZAB 協議過於相似，詳細講解參照下文， ZAB 協議部分
分布式系統中的節點通信存在兩種模型：共享內存（Shared memory）和消息傳遞（Messages passing）。
基於消息傳遞通信模型的分布式系統，不可避免的會發生以下錯誤：進程可能會慢、被殺死或者重啟，消息可能會延遲、丟失、重復，在基礎Paxos場景中，先不考慮可能出現消息篡改,即拜占庭錯誤的情況。(網絡環境一般為自建內網，消息安全相對高)
Paxos算法解決的問題是在一個可能發生上述異常的分布式系統中如何就某個值達成一致，保證不論發生以上任何異常，都不會破壞決議的一致性。
Paxos 協議的角色 主要有三類節點：
- 提議者（Proposer）：提議一個值；
- 接受者（Acceptor）：對每個提議進行投票；
- 告知者（Learner）：被告知投票的結果，不參與投票過程。
過程：
規定一個提議包含兩個字段：[n, v]，其中 n 為序號（具有唯一性），v 為提議值。
下圖演示了兩個 Proposer 和三個 Acceptor 的系統中運行該算法的初始過程，每個 Proposer 都會向所有 Acceptor 發送提議請求。
當 Acceptor 接收到一個提議請求，包含的提議為 [n1, v1]，並且之前還未接收過提議請求，那么發送一個提議響應，設置當前接收到的提議為 [n1, v1]，並且保證以后不會再接受序號小於 n1 的提議。
如下圖，Acceptor X 在收到 [n=2, v=8] 的提議請求時，由於之前沒有接收過提議，因此就發送一個 [no previous] 的提議響應，並且設置當前接收到的提議為 [n=2, v=8]，並且保證以后不會再接受序號小於 2 的提議。其它的 Acceptor 類似。
如果 Acceptor 接受到一個提議請求，包含的提議為 [n2, v2]，並且之前已經接收過提議 [n1, v1]。如果 n1 > n2，那么就丟棄該提議請求；否則，發送提議響應，該提議響應包含之前已經接收過的提議 [n1, v1]，設置當前接收到的提議為 [n2, v2]，並且保證以后不會再接受序號小於 n2 的提議。
如下圖，Acceptor Z 收到 Proposer A 發來的 [n=2, v=8] 的提議請求，由於之前已經接收過 [n=4, v=5] 的提議，並且 n > 2，因此就拋棄該提議請求；Acceptor X 收到 Proposer B 發來的 [n=4, v=5] 的提議請求，因為之前接收到的提議為 [n=2, v=8]，並且 2 <= 4，因此就發送 [n=2, v=8] 的提議響應，設置當前接收到的提議為 [n=4, v=5]，並且保證以后不會再接受序號小於 4 的提議。Acceptor Y 類似。
當一個 Proposer 接收到超過一半 Acceptor 的提議響應時，就可以發送接受請求。
Proposer A 接受到兩個提議響應之后，就發送 [n=2, v=8] 接受請求。該接受請求會被所有 Acceptor 丟棄，因為此時所有 Acceptor 都保證不接受序號小於 4 的提議。
Proposer B 過后也收到了兩個提議響應，因此也開始發送接受請求。需要注意的是，接受請求的 v 需要取它收到的最大 v 值，也就是 8。因此它發送 [n=4, v=8] 的接受請求。
Acceptor 接收到接受請求時，如果序號大於等於該 Acceptor 承諾的最小序號，那么就發送通知給所有的 Learner。當 Learner 發現有大多數的 Acceptor 接收了某個提議，那么該提議的提議值就被 Paxos 選擇出來。
Raft協議
Paxos 是論證了一致性協議的可行性，但是論證的過程據說晦澀難懂，缺少必要的實現細節，而且工程實現難度比較高廣為人知實現只有 zk 的實現 zab 協議。
Paxos協議的出現為分布式強一致性提供了很好的理論基礎，但是Paxos協議理解起來較為困難，實現比較復雜。
然后斯坦福大學RamCloud項目中提出了易實現，易理解的分布式一致性復制協議 Raft。Java，C++，Go 等都有其對應的實現
之后出現的Raft相對要簡潔很多。
引入主節點，通過競選。
節點類型：Follower、Candidate 和 Leader
Leader 會周期性的發送心跳包給 Follower。每個 Follower 都設置了一個隨機的競選超時時間，一般為 150ms~300ms，如果在這個時間內沒有收到 Leader 的心跳包，就會變成 Candidate，進入競選階段。
基本名詞
- 節點狀態
- Leader（主節點）：接受 client 更新請求，寫入本地后，然后同步到其他副本中
- Follower（從節點）：從 Leader 中接受更新請求，然后寫入本地日志文件。對客戶端提供讀請求
- Candidate（候選節點）：如果 follower 在一段時間內未收到 leader 心跳。則判斷 leader 可能故障，發起選主提議。節點狀態從 Follower 變為 Candidate 狀態，直到選主結束
- termId：任期號，時間被划分成一個個任期，每次選舉后都會產生一個新的 termId，一個任期內只有一個 leader。termId 相當於 paxos 的 proposalId。
- RequestVote：請求投票，candidate 在選舉過程中發起，收到 quorum (多數派）響應后，成為 leader。
- AppendEntries：附加日志，leader 發送日志和心跳的機制
- election timeout：選舉超時，如果 follower 在一段時間內沒有收到任何消息(追加日志或者心跳)，就是選舉超時。
競選階段流程
① 下圖表示一個分布式系統的最初階段，此時只有 Follower，沒有 Leader。Follower A 等待一個隨機的競選超時時間之后，沒收到 Leader 發來的心跳包，因此進入競選階段。
② 此時 A 發送投票請求給其它所有節點。
③ 其它節點會對請求進行回復，如果超過一半的節點回復了，那么該 Candidate 就會變成 Leader。
④ 之后 Leader 會周期性地發送心跳包給 Follower，Follower 接收到心跳包，會重新開始計時。
多個 Candidate 競選
① 如果有多個 Follower 成為 Candidate，並且所獲得票數相同，那么就需要重新開始投票，例如下圖中 Candidate B 和 Candidate D 都獲得兩票，因此需要重新開始投票。
② 當重新開始投票時，由於每個節點設置的隨機競選超時時間不同，因此能下一次再次出現多個 Candidate 並獲得同樣票數的概率很低。
日志復制
① 來自客戶端的修改都會被傳入 Leader。注意該修改還未被提交，只是寫入日志中。
② Leader 會把修改復制到所有 Follower。
③ Leader 會等待大多數的 Follower 也進行了修改，然后才將修改提交。
④ 此時 Leader 會通知的所有 Follower 讓它們也提交修改，此時所有節點的值達成一致。
ZAB協議
ZAB協議 概述
Google 的粗粒度鎖服務 Chubby 的設計開發者 Burrows 曾經說過：“所有一致性協議本質上要么是 Paxos 要么是其變體”。Paxos 雖然解決了分布式系統中，多個節點就某個值達成一致性的通信協議。但是還是引入了其他的問題。由於其每個節點，都可以提議提案，也可以批准提案。當有三個及以上的 proposer 在發送 prepare 請求后，很難有一個 proposer 收到半數以上的回復而不斷地執行第一階段的協議，在這種競爭下，會導致選舉速度變慢。
所以 zookeeper 在 paxos 的基礎上，提出了 ZAB 協議，本質上是，只有一台機器能提議提案（Proposer），而這台機器的名稱稱之為 Leader 角色。其他參與者扮演 Acceptor 角色。為了保證 Leader 的健壯性，引入了 Leader 選舉機制。
ZAB協議還解決了這些問題
- 在半數以下節點宕機，依然能對台提供服務
- 客戶端所有的寫請求，交由 Leader 來處理。寫入成功后，需要同步給所有的 follower 和 observer
- leader 宕機，或者集群重啟。需要確保已經再 Leader 提交的事務最終都能被服務器提交，並且確保集群能快速回復到故障前的狀態
ZAB協議 基本概念
- 基本名詞
- 數據節點（dataNode）：zk 數據模型中的最小數據單元，數據模型是一棵樹，由斜杠（ / ）分割的路徑名唯一標識，數據節點可以存儲數據內容及一系列屬性信息，同時還可以掛載子節點，構成一個層次化的命名空間。
- 事務及 zxid：事務是指能夠改變 Zookeeper 服務器狀態的操作，一般包括數據節點的創建與刪除、數據節點內容更新和客戶端會話創建與失效等操作。對於每個事務請求，zk 都會為其分配一個全局唯一的事務 ID，即 zxid，是一個 64 位的數字，高 32 位表示該事務發生的集群選舉周期（集群每發生一次 leader 選舉，值加 1），低 32 位表示該事務在當前選擇周期內的遞增次序（leader 每處理一個事務請求，值加 1，發生一次 leader 選擇，低 32 位要清 0）。
- 事務日志：所有事務操作都是需要記錄到日志文件中的，可通過 dataLogDir 配置文件目錄，文件是以寫入的第一條事務 zxid 為后綴，方便后續的定位查找。zk 會采取“磁盤空間預分配”的策略，來避免磁盤 Seek 頻率，提升 zk 服務器對事務請求的影響能力。默認設置下，每次事務日志寫入操作都會實時刷入磁盤，也可以設置成非實時（寫到內存文件流，定時批量寫入磁盤），但那樣斷電時會帶來丟失數據的風險。
- 事務快照：數據快照是 zk 數據存儲中另一個非常核心的運行機制。數據快照用來記錄 zk 服務器上某一時刻的全量內存數據內容，並將其寫入到指定的磁盤文件中，可通過 dataDir 配置文件目錄。可配置參數 snapCount，設置兩次快照之間的事務操作個數，zk 節點記錄完事務日志時，會統計判斷是否需要做數據快照（距離上次快照，事務操作次數等於snapCount/2~snapCount 中的某個值時，會觸發快照生成操作，隨機值是為了避免所有節點同時生成快照，導致集群影響緩慢）。
- 核心角色
- leader：系統剛啟動時或者 Leader 崩潰后正處於選舉狀態；
- follower：Follower 節點所處的狀態，Follower 與 Leader 處於數據同步階段；
- observer：Leader 所處狀態，當前集群中有一個 Leader 為主進程。
- 節點狀態
- LOOKING：節點正處於選主狀態，不對外提供服務，直至選主結束；
- FOLLOWING：作為系統的從節點，接受主節點的更新並寫入本地日志；
- LEADING：作為系統主節點，接受客戶端更新，寫入本地日志並復制到從節點
ZAB協議 常見的誤區
- 寫入節點后的數據，立馬就能被讀到，這是錯誤的。** zk 寫入是必須通過 leader 串行的寫入，而且只要一半以上的節點寫入成功即可。而任何節點都可提供讀取服務。例如：zk，有 1~5 個節點，寫入了一個最新的數據，最新數據寫入到節點 1~3，會返回成功。然后讀取請求過來要讀取最新的節點數據，請求可能被分配到節點 4~5 。而此時最新數據還沒有同步到節點4~5。會讀取不到最近的數據。如果想要讀取到最新的數據，可以在讀取前使用 sync 命令**。
- zk啟動節點不能偶數台，這也是錯誤的。zk 是需要一半以上節點才能正常工作的。例如創建 4 個節點，半數以上正常節點數是 3。也就是最多只允許一台機器 down 掉。而 3 台節點，半數以上正常節點數是 2，也是最多允許一台機器 down 掉。4 個節點，多了一台機器的成本，但是健壯性和 3 個節點的集群一樣。基於成本的考慮是不推薦的
ZAB協議 選舉同步過程
發起投票的契機
- 節點啟動
- 節點運行期間無法與 Leader 保持連接，
- Leader 失去一半以上節點的連接
如何保證事務
ZAB 協議類似於兩階段提交，客戶端有一個寫請求過來，例如設置 /my/test 值為 1，Leader 會生成對應的事務提議（proposal）（當前 zxid為 0x5000010 提議的 zxid 為Ox5000011），現將set /my/test 1（此處為偽代碼）寫入本地事務日志，然后set /my/test 1日志同步到所有的follower。follower收到事務 proposal ，將 proposal 寫入到事務日志。如果收到半數以上 follower 的回應，那么廣播發起 commit 請求。follower 收到 commit 請求后。會將文件中的 zxid ox5000011 應用到內存中。
上面說的是正常的情況。有兩種情況。第一種 Leader 寫入本地事務日志后，沒有發送同步請求，就 down 了。即使選主之后又作為 follower 啟動。此時這種還是會日志會丟掉（原因是選出的 leader 無此日志，無法進行同步）。第二種 Leader 發出同步請求，但是還沒有 commit 就 down 了。此時這個日志不會丟掉，會同步提交到其他節點中。
服務器啟動過程中的投票過程
現在 5 台 zk 機器依次編號 1~5
- 節點 1 啟動，發出去的請求沒有響應，此時是 Looking 的狀態
- 節點 2 啟動，與節點 1 進行通信，交換選舉結果。由於兩者沒有歷史數據，即 zxid 無法比較，此時 id 值較大的節點 2 勝出，但是由於還沒有超過半數的節點，所以 1 和 2 都保持 looking 的狀態
- 節點 3 啟動，根據上面的分析，id 值最大的節點 3 勝出，而且超過半數的節點都參與了選舉。節點 3 勝出成為了 Leader
- 節點 4 啟動，和 1~3 個節點通信，得知最新的 leader 為節點 3，而此時 zxid 也小於節點 3，所以承認了節點 3 的 leader 的角色
- 節點 5 啟動，和節點 4 一樣，選取承認節點 3 的 leader 的角色
服務器運行過程中選主過程
1.節點 1 發起投票，第一輪投票先投自己，然后進入 Looking 等待的狀態 2.其他的節點（如節點 2 ）收到對方的投票信息。節點 2 在 Looking 狀態，則將自己的投票結果廣播出去（此時走的是上圖中左側的 Looking 分支）；如果不在 Looking 狀態，則直接告訴節點 1 當前的 Leader 是誰，就不要瞎折騰選舉了（此時走的是上圖右側的 Leading/following 分支） 3.此時節點 1，收到了節點 2 的選舉結果。如果節點 2 的 zxid 更大，那么清空投票箱，建立新的投票箱，廣播自己最新的投票結果。在同一次選舉中，如果在收到所有節點的投票結果后，如果投票箱中有一半以上的節點選出了某個節點，那么證明 leader 已經選出來了，投票也就終止了。否則一直循環
zookeeper 的選舉，優先比較大 zxid，zxid 最大的節點代表擁有最新的數據。如果沒有 zxid，如系統剛剛啟動的時候，則比較機器的編號，優先選擇編號大的
同步的過程
在選出 Leader 之后，zk 就進入狀態同步的過程。其實就是把最新的 zxid 對應的日志數據，應用到其他的節點中。此 zxid 包含 follower 中寫入日志但是未提交的 zxid 。稱之為服務器提議緩存隊列 committedLog 中的 zxid。
同步會完成三個 zxid 值的初始化。
peerLastZxid：該 learner 服務器最后處理的 zxid。 minCommittedLog：leader服務器提議緩存隊列 committedLog 中的最小 zxid。 maxCommittedLog：leader服務器提議緩存隊列 committedLog 中的最大 zxid。 系統會根據 learner 的peerLastZxid和 leader 的minCommittedLog，maxCommittedLog做出比較后做出不同的同步策略
直接差異化同步
場景：peerLastZxid介於minCommittedLogZxid和maxCommittedLogZxid間
此種場景出現在，上文提到過的，Leader 發出了同步請求，但是還沒有 commit 就 down 了。 leader 會發送 Proposal 數據包，以及 commit 指令數據包。新選出的 leader 繼續完成上一任 leader 未完成的工作。
例如此刻Leader提議的緩存隊列為 0x20001，0x20002，0x20003，0x20004，此處learn的peerLastZxid為0x20002，Leader會將0x20003和0x20004兩個提議同步給learner
先回滾在差異化同步/僅回滾同步
此種場景出現在，上文提到過的，Leader寫入本地事務日志后，還沒發出同步請求，就down了，然后在同步日志的時候作為learner出現。
例如即將要 down 掉的 leader 節點 1，已經處理了 0x20001，0x20002，在處理 0x20003 時還沒發出提議就 down 了。后來節點 2 當選為新 leader，同步數據的時候，節點 1 又神奇復活。如果新 leader 還沒有處理新事務，新 leader 的隊列為，0x20001, 0x20002，那么僅讓節點 1 回滾到 0x20002 節點處，0x20003 日志廢棄，稱之為僅回滾同步。如果新 leader 已經處理 0x30001 , 0x30002 事務，那么新 leader 此處隊列為0x20001，0x20002，0x30001，0x30002，那么讓節點 1 先回滾，到 0x20002 處，再差異化同步0x30001，0x30002。
全量同步
peerLastZxid小於minCommittedLogZxid或者leader上面沒有緩存隊列。leader直接使用SNAP命令進行全量同步
參考文獻：
https://www.cnblogs.com/zhang-qc/p/8688258.html
https://blog.csdn.net/weixin_33725272/article/details/87947998