beta 分布


我們比較熟悉均勻分布、二項分布等概率分布,那么 beta 分布是什么呢?

一句話,beta 分布表示 一種概率的 概率分布;

也就是說,當無法確定一件事的概率P時,我們可以把它所有概率P統計出來,然后每個P對應一個P',P'就是 beta 分布;

下面我從多個角度具體闡述一下

 

生活案例 

投籃命中率估計

熟悉籃球的朋友都知道,運動員投籃命中率大概在 21%-33% ,這叫先驗知識

現在有一個人說自己投籃很准,那如何證明呢?

假如讓他投一次籃,命中了,我們能說他命中率 100% 嗎,顯然不行;

那讓他投1000次籃,看看進幾個,然后算命中率,也是不行的,早累死了,投到后面已經不是他自己了;

那怎么辦呢?此時就可以使用beta 分布;

 

1. 我們先把 先驗知識 轉換成 beta 分布的參數

beta 分布的均值為 𝛼/(𝛼+𝛽)=81/(81+219)=0.27    【在高斯分布里,均值就是概率最大的值,beta 分布不一定,這里是個特例】

故 beta 分布參數可取 𝛼=81,𝛽=219,顯然 𝛼 代表投進次數,𝛽 代表投丟次數;      【𝛼 也代表二項分布中 正向事件 發生的次數】

此時 beta 分布如下圖

可以看到 這個分布主要落在了 21-33之間,符合先驗知識

beta 分布 x 軸代表 各個投籃命中率,y 軸代表 各個命中率 的 概率

 

2. 那上面這個人的投籃命中率怎么計算呢?

還是投一次,假如進了,(81+1)/(81+219+1)=0.2724,這個命中率顯然要比 100% 更可信,

繼續投吧,,投50次看看,假如進了30個,(81+30)/(81+30+219+20)=0.32,這個概率還算合理,比 60% 更可信

 

3. 此時我們就得到了這個人的投籃命中率為 0.32;

不是說概率的概率嗎,怎么只有概率,那是因為我們只拿 均值算了對應的概率,沒算 其他值對應的概率,如果把所有值得概率都算一遍,相當於把曲線平移一下

 是不是所有概率都有 概率了,從圖中藍色曲線可以看出概率最大的投籃命中率為 0.32

 

數學角度

公式

B 為 beta 函數;

隨着 a b 的變化,beta 分布形態各異

這種特性能夠滿足各種先驗分布

 

貝葉斯推斷

先驗分布 + 實驗數據 = 后驗分布

(經驗)       (投籃試驗) (投籃命中率) 

beta 分布符合貝葉斯推斷

 

共軛先驗

beta(a, b) + 實驗數據 = beta(m, n) = beta(a + 投中次數, b + 投丟次數)

對於二項分布,用 beta 分布做先驗,經過貝葉斯推斷后,后驗分布依然是 beta 分布,這種特性稱為 共軛先驗

 

推理過程

假設拋硬幣正面朝上概率為 θ,拋 A+B 次,A 次正面朝上的概率為

這個 P 就是所謂的 在參數 θ 下實驗結果的可能性,    【在機器學習中,我們需要使這個概率最大,為1,這里我們不這么做】

我們要計算這個可能性,設

我們把 f(θ) 做一個歸一化,讓他的和變成 1,即變成一個概率,

做法很簡單,除以他的積分即可;

 這個公式是不是和 beta 分布的公式很像呢;

對比一下就知道,beta 分布公式中,a 就是 正面朝上的次數,b 就是反面朝上的次數,x 就是 伯努利分布的概率 θ

 

 

 

 

參考資料:

https://www.zhihu.com/question/30269898  如何通俗理解 beta 分布?


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM