0x00 摘要
本文將盡量使用易懂的方式介紹一致性貝葉斯定理，並且通過具體應用場景來幫助大家深入這個概念。
0x01 IT概念
1. 貝葉斯定理
貝葉斯定理是用來解決"逆概率"問題的，即根據一些有限的過去數據來預測某個概率。比如利用有限的信息(過去天氣的測量數據)來預測明天下雨的概率是多少。
其底層思想是：新觀察到的樣本信息將修正人們以前對事物的認知。好比是人類剛開始時候對大自然只有少的可憐的先驗知識，但是隨着不斷觀察實踐獲得更多的樣本，結果使得人們對自然界的規律摸得越來越透徹。
2. 問題領域
-
求解問題(A): 呼延灼想知道自己是否是公明哥哥的心腹，用A來代表"你是大哥的心腹"。
-
已知結果(B): 大哥對你下拜。記作事件B。
-
推理結果 P(A|B): 想通過大哥對你下拜這個事件，來判斷大哥視你為心腹的概率。
3. 相關術語
-
先驗概率：指根據以往經驗和分析得到的概率。它作為"由因求果"問題中的"因"出現。
-
后驗概率：指事情已經發生后，要求此事件發生的原因是由於某個因素引起的可能性的大小。后驗概率是指得到"已知結果"的信息之后重新修正的概率。是"執果尋因"問題中的"因"。
先驗概率是由以往的數據分析得到的概率，泛指一類事物發生的概率，根據歷史資料或主觀判斷未經證實所確定的概率。后驗概率而是在得到信息之后再重新加以修正的概率，是某個特定條件下一個具體事物發生的概率。
-
P(A): 是A的先驗概率，之所以稱為先驗是因為它不考慮任何B方面的因素。
-
P(B): 是B的先驗概率，之所以稱為先驗是因為它不考慮任何A方面的因素。在這里就是結果B發生的概率。
-
P(A|B): 是已知B發生之后A的條件概率，就是先有B然后才有A，也由於得自B的取值而被成為A的后驗概率。
-
P(B|A): 是已知A發生之后B條件概率，就是先有A然后才有B，也由於得自A的取值而被成為B的后驗概率。
-
P(B|A)/P(B): 似然函數，這是一個調整因子，即新信息B帶來的調整，作用是使得先驗概率更接近真實概率。
4. 對應本題
-
先驗概率 P(A): 呼延灼事先無法知道大哥是否視他為心腹，所以只能根據一般的常識(或者以往經驗)來分析判斷得到一個概率，這里暫定為50%(大哥有喜歡你，不喜歡你兩種可能)。
-
后驗概率 P(A|B): 即在B事件"大哥下拜"發生之后，對A事件"大哥視你為心腹"概率的重新評估。
5. 思考模式
新觀念等於老觀念乘上調整因子（也叫做似然比)。
我們先預估一個先驗概率，然后加入實驗結果，看看這個實驗是增強了還是削弱了先驗概率，由此得到更接近實時的后驗概率。
后驗概率 = 先驗概率 x 調整因子
后驗概率是 P(A|B)
先驗概率是 P(A)
調整因子是 P(B|A)/P(B)
或者用如下方式來思考：
先驗分布 + 樣本信息 ==> 后驗分布
在得到新的樣本信息之前，人們對事物的認知是"先驗分布"。
在得到新樣本信息之后，人們對事物的認知調整為"后驗分布"。
即原先你有舊觀念 P(假設)，有了新證據之后，P(假設|證據)就是你的新觀念。新觀念等於老觀念乘上似然比。P(B|A)/P(B)在這里被稱為"似然比"。
或者還有這種思考方式
P(θ|X) = P(X|θ) P(θ) / P(X)
posterior = likehood * prior / evidence
posterior：P(θ|X)是 通過樣本X得到參數θ的概率，也就是后驗概率。
likehood：P(X|θ)是 通過參數θ得到樣本X的概率，似然函數，通常就是我們的數據集的表現，即假設θ已知后我們觀察到的數據應該是什么樣子的。
prior：P(θ) 是參數θ的先驗概率，一般是根據人的先驗知識來得出的。
evidence：P(X) 是樣本X發生的概率，是各種條件下發生的概率的積分。
0x02 本題如何解答
1. 通俗思考
呼延灼通過大哥對自己下拜這個事件，來判斷大哥視自己為心腹的概率。
通俗的思考: 呼延灼先估計一個值（先驗概率），然后根據觀察的新信息不斷修正(可能性函數)。也就是利用 "調整因子" 來不斷修改 "先驗概率"）"
貝葉斯公式：
后驗概率P(A|B) = 先驗概率P(A) x 調整因子 [P(B|A)/P(B)]
對於本題，則是
P(大哥看重你|大哥下拜) = P(大哥看重你) x [ P(大哥因為看重你才下拜) / P(大哥下拜) ]
如何通俗思考這個"調整因子" ? 通俗理解就是：大哥看重你 / ( 大哥看重你 + 大哥不看重你). 也就是"大哥看重你"這個事件在總體事件中的比重。 這樣才可以調整。
2. 具體解題
2.1 如何求先驗概率 P(A)?
通常有如下做法:
-
每個樣本所屬的自然狀態都是已知的（有監督學習）
-
依靠經驗
-
用訓練樣本中各類出現的頻率估計，比如通過極大似然估計，把頻數除以總的次數就可以得到。即樣本中本類出現的次數除以樣本容量
這里呼延灼用常理判斷，大哥看重的概率和不看重的概率都是50%, 即
P(A) = P(-A) = 50%
2.2 如何求P(B)?
P(B) 可以根據經驗獲得，但一般使用全概率公式，其意義在於：無法知道一個事物獨立發生的概率，但是我們可以將其在各種條件下發生的概率進行累加獲得。
P(B) = P(B|A)P(A) + P(B|-A)P(-A), 這里把A的反集記作-A
本題中對應
P(大哥下拜) = P(大哥因為看重你才下拜)P(大哥看重你) + P(大哥不看重你也會下拜)P(大哥不看重你)
2.3 如何求P(B|A)?
這個很難。原因包括：
-
概率密度函數包含了一個隨機變量的全部信息；
-
樣本數據可能不多；
-
特征向量x的維度可能很大等等；
解決的辦法就是，把估計完全未知的概率密度轉化為估計參數。這里就將概率密度估計問題轉化為參數估計問題，極大似然估計就是一種參數估計方法。
當然了，概率密度函數的選取很重要，模型正確，在樣本區域無窮時，我們會得到較准確的估計值，如果模型都錯了，那估計半天的參數，肯定也沒啥意義了。
本題中，呼延灼根據樣本數據來觀察歸納推理來得到的
P(大哥因為看重你才下拜) = 20%
P(大哥不看重你也會下拜) = 80%
2.4 后續推導
所以呼延灼得到了如下公式：
P(大哥看重你|大哥下拜)
= P(大哥看重你) x [P(大哥因為看重你才下拜) / P(大哥下拜)]
= P(大哥看重你) x [P(大哥因為看重你才下拜) / [ P(大哥因為看重你才下拜)P(大哥看重你) + P(大哥不看重你也會下拜)P(大哥不看重你) ] ]
呼延灼發現，公明哥哥對於李逵戴宗並沒有納頭便拜，對於董平/關勝/盧俊義則納頭便拜。就知道大哥看重某人其實並不大會下拜，不看重但為了套路某人反而會下拜。
所以呼延灼得出如下計算過程。
以下是呼延灼根據常理假設
p(大哥看重你)=50%
p(大哥不看重你)=50%
以下是呼延灼根據觀察歸納推理
P(大哥因為看重你才下拜) = 20%
P(大哥不看重你也會下拜) = 80%
於是呼延灼最終計算如下
P(大哥看重你|大哥下拜) = 50% x (20% / (20%x50% + 80%x50%)) = 20%
所以從大哥對呼延灼下拜這個能看出來，大哥不看重呼延灼。把大哥看重呼延灼這個概率下調。
3. 結論
一句話概括貝葉斯思想，就是"觀點隨着事實而改變"。
如果我能掌握一個事情的全部信息，我當然能計算出一個客觀概率（古典概率）。 可是生活中絕大多數決策面臨的信息都是不全的，我們手中只有有限的信息。既然無法得到全面的信息，我們就在信息有限的情況下，盡可能做出一個好的預測。也就是，在主觀判斷的基礎上，你可以先估計一個值（先驗概率），然后根據觀察的新信息不斷修正(可能性函數)。
這就有點像破案，從結果推測緣由。你來到案發現場，收集證據（結果）。通過證據的疊加，凶手的特征逐漸清晰。最終你選擇“相信”誰是凶手。
貝葉斯說，你對某個假設的“相信”程度，應該用一個概率來表示——P(假設)。
0x03 參考
https://blog.csdn.net/weixin_40920228/article/details/80850489
https://cloud.tencent.com/developer/news/266248
https://blog.csdn.net/qq_28168421/article/details/83388776