前言
前面兩文介紹了貝葉斯學派的思想和先驗分布、后驗分布的相關知識，古典頻率學派認為拋硬幣的概率是常數，本文從貝葉斯學派的角度看待拋硬幣的概率問題。本文詳細介紹了 β分布，重述貝葉斯思想，對於拋硬幣的概率問題作各種情況的分析，最后總結本文。
目錄
1、為什么選擇β分布作為先驗分布
2、重述貝葉斯思想
3、拋硬幣問題的多情況分析
4、總結
1、為什么選擇β分布作為先驗分布
本節詳細介紹β分布的定義及解釋選擇β分布作為先驗分布的原因。
1、β分布
β函數的定義：
其中α，β > 0，對等式兩邊各除以B(α,β)，字母p代替x，得：
選積分項作為β分布函數，由積分項可知β分布已完成標准化（總積分等於1）。
因此，β分布：
β分布的期望和方差：
2、β分布作為先驗分布的原因
由β分布定義可知，β分布是概率分布的分布，β分布常作為先驗分布的原因：
（1）、貝葉斯對參數的估計與先驗分布的選擇有很重要的關系，先驗分布不同，貝葉斯對參數的估計也不同。先驗分布往往是人們根據以往經驗去設計，β分布是概率分布的分布，涵蓋了所有參數空間出現的概率大小，並通過設置參數α和β，可以使先驗分布與你的先驗經驗基本符合。
i) α=1，β=1
由上圖可知，α=1，β=1，β分布符合均勻分布，即參數空間所有取值的概率相等。
因此，當你對參數沒有任何的先驗知識時，建議你假設先驗參數符合均勻分布，參數的后驗分布由你的實際觀測數據決定。
ii) α=10，β=10
由上圖可知，α=10，β=10時，β分布符合高斯分布，且在概率為0.5取得最大值，由β分布期望和方差的公式可知期望和方差分別等於0.5和0.01。
假設參數的先驗分布是高斯分布，設置參數α和β相等（α>1）使β分布成為高斯分布，α越大方差越小。
因此，設置α和β使參數的先驗分布符合你對參數的先驗認知。
（2）、上節已提到，參數的先驗分布是β分布時，則先驗分布和后驗分布形式一樣，且可以形成先驗鏈，方便分析問題。
2、重述貝葉斯思想
因人而異，因閱歷而異
關於頻率學派和貝葉斯學派對頻率的理解可以參考我前面的文章《淺談頻率學派和貝葉斯學派》。
貝葉斯思想是量化事件發生的不確定性，是主觀評價。不同人評價同一事件發生的概率不同，因為不同人的生活經歷不同，對某一事件的先驗知識很可能不同，比如一個博士生和一個小學生對某一事件的看法可能不同；同一個人對同一事件發生的概率也隨着自身閱歷的增加而不同，例如某個人做了九件好事，你評估他是好人的概率為0.9，當他做了一件大逆不道的事情后，你評估他是好人的概率降到了0.1。貝葉斯評價事件發生的概率帶有主觀性，因人而異，因閱歷而異。
凡事要講數據
我們根據自己的閱歷對某一事件作一個先驗假設，先驗假設是否正確需要經過時間的檢驗，即是否有足夠多的觀測數據符合先驗假設。先驗假設和觀測數據是影響后驗假設的兩個因素，若觀測數據不符合先驗假設，則后驗假設在先驗假設的基礎上開始向觀測的數據偏斜，若觀測的數據為無窮大時，則先驗假設可以忽略不計，直接通過觀測數據來估計后驗假設。因此，貝葉斯思想評價事件發生概率的准則是凡事要講數據。
PS：有點繞口，希望大家看完筆者介紹拋硬幣的例子，再來悟一悟這幾句話，若還有疑問請微信我
3、拋硬幣問題的多情況分析
拋硬幣問題的公式說明
由於《淺談先驗分布和后驗分布》已經通過例子推導了拋硬幣正面向上的后驗概率，因此，本文不做推論，具體可參考上篇文章，若有疑問請微信我。本文只引用一些結論性的公式。
假設硬幣正面向上的概率為u，正面向上記為1，反面向上記為0。
則硬幣正面向上的先驗分布如下：
硬幣正面向上的期望：
其中a，b表示虛擬的硬幣正面向上的次數和反面向上的次數，根據自己的先驗知識來設置a，b值。
若后續的觀測結果為m次正面向上，l次反面向上，共N次。
則硬幣正面向上的后驗分布如下：
硬幣為正面向上的概率：
多情況的拋硬幣問題
（1）第1次拋硬幣為正面向上的概率；
（2）9次硬幣正面向上，1次反面向上，第十一次硬幣正面向上的概率；
（3）90次硬幣正面向上，10次硬幣反面向上，求101次正面向上的概率；
（4）900次硬幣正面向上，100次硬幣反面向上，求第1001次硬幣正面向上的概率。
解：
貝葉斯的后驗分布受先驗分布的影響，不同的先驗分布會有不同的后驗分布。請參考第一節，假設硬幣正面向上的分布符合高斯分布（a=10，b=10），高斯分布符合大部分人的思想，認為硬幣為正面向上的概率在0.5達到最大，方差表示先驗分布的確定程度，若你堅信硬幣向上的概率肯定是0.5，那么可以調大a和b值。
作者就先驗分布為高斯分布來解答拋硬幣的四個問題。其他先驗分布可通過調節a，b的值來實現，后面的計算過程一致。
正面向上的后驗概率：
a，b，m，l分別表示先驗分布的正面向上次數，反面向上次數，已觀測數據的正面向上次數，反面向上次數。
先驗分布為高斯分布：
（1）由於沒有任何觀測數據，因此第一次正面向上的分布為先驗分布，先驗分布在在參數為0.5時，概率最大，即正面向上的概率為0.5。
（2）正面向上的概率為：
（3）計算過程與（2）一樣，正面向上的概率：0.83
（4）正面向上的概率：0.89
討論：
頻率學派認為硬幣向上的概率是0.5，與觀測數據無關。貝葉斯學派是通過數據來主觀評價硬幣向上的概率，由例子可知，即使先驗分布符合高斯分布且正面向上的概率在0.5達到最大，但是如果觀測數據傾向於正面向上，則最終的判斷結果會傾向於正面向上，貝葉斯思想有點像是風往哪邊吹樹就往哪邊倒的意思。當觀測結果的正面向上次數遠遠大於正面向下次數，也遠遠大於先驗分布的正面向下次數，則判斷下次為正面向上的概率無限接近1（若不理解請參考公式）。
4、總結
本文首先詳細介紹了β分布，通過調節參數a和b使β分布符合假設的先驗分布，β分布使后驗分布和先驗分布為共軛分布，形成先驗鏈，便於分析問題。后面講的內容是貝葉斯思想，貝葉斯是主觀評價事件發生的概率，根據先驗知識來假設先驗分布，若觀測的數據符合先驗分布，則后驗分布與先驗分布類似；若觀測的數據不符合先驗分布，則后驗分布開始向觀測數據傾斜，若觀測數據為無窮大時，那么前驗分布可以忽略不計，最大似然函數估計參數與后驗分布估計參數相同，直接可以用最大似然函數來估計參數。
參考：
Christopher M.Bishop <<Pattern Reconition and Machine Learning>>
————————————————
版權聲明：本文為CSDN博主「機器學習算法那些事」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/algorithmPro/article/details/83869188