我們比較熟悉均勻分布、二項分布等概率分布,那么 beta 分布是什么呢?
一句話,beta 分布表示 一種概率的 概率分布;
也就是說,當無法確定一件事的概率P時,我們可以把它所有概率P統計出來,然后每個P對應一個P',P'就是 beta 分布;
下面我從多個角度具體闡述一下
生活案例
投籃命中率估計
熟悉籃球的朋友都知道,運動員投籃命中率大概在 21%-33% ,這叫先驗知識;
現在有一個人說自己投籃很准,那如何證明呢?
假如讓他投一次籃,命中了,我們能說他命中率 100% 嗎,顯然不行;
那讓他投1000次籃,看看進幾個,然后算命中率,也是不行的,早累死了,投到后面已經不是他自己了;
那怎么辦呢?此時就可以使用beta 分布;
1. 我們先把 先驗知識 轉換成 beta 分布的參數
beta 分布的均值為 𝛼/(𝛼+𝛽)=81/(81+219)=0.27 【在高斯分布里,均值就是概率最大的值,beta 分布不一定,這里是個特例】
故 beta 分布參數可取 𝛼=81,𝛽=219,顯然 𝛼 代表投進次數,𝛽 代表投丟次數; 【𝛼 也代表二項分布中 正向事件 發生的次數】
此時 beta 分布如下圖

可以看到 這個分布主要落在了 21-33之間,符合先驗知識
beta 分布 x 軸代表 各個投籃命中率,y 軸代表 各個命中率 的 概率;
2. 那上面這個人的投籃命中率怎么計算呢?
還是投一次,假如進了,(81+1)/(81+219+1)=0.2724,這個命中率顯然要比 100% 更可信,
繼續投吧,,投50次看看,假如進了30個,(81+30)/(81+30+219+20)=0.32,這個概率還算合理,比 60% 更可信
3. 此時我們就得到了這個人的投籃命中率為 0.32;
不是說概率的概率嗎,怎么只有概率,那是因為我們只拿 均值算了對應的概率,沒算 其他值對應的概率,如果把所有值得概率都算一遍,相當於把曲線平移一下

是不是所有概率都有 概率了,從圖中藍色曲線可以看出概率最大的投籃命中率為 0.32
數學角度
公式

B 為 beta 函數;
隨着 a b 的變化,beta 分布形態各異

這種特性能夠滿足各種先驗分布
貝葉斯推斷
先驗分布 + 實驗數據 = 后驗分布
(經驗) (投籃試驗) (投籃命中率)
beta 分布符合貝葉斯推斷
共軛先驗
beta(a, b) + 實驗數據 = beta(m, n) = beta(a + 投中次數, b + 投丟次數)
對於二項分布,用 beta 分布做先驗,經過貝葉斯推斷后,后驗分布依然是 beta 分布,這種特性稱為 共軛先驗
推理過程
假設拋硬幣正面朝上概率為 θ,拋 A+B 次,A 次正面朝上的概率為

這個 P 就是所謂的 在參數 θ 下實驗結果的可能性, 【在機器學習中,我們需要使這個概率最大,為1,這里我們不這么做】
我們要計算這個可能性,設

我們把 f(θ) 做一個歸一化,讓他的和變成 1,即變成一個概率,
做法很簡單,除以他的積分即可;

這個公式是不是和 beta 分布的公式很像呢;
對比一下就知道,beta 分布公式中,a 就是 正面朝上的次數,b 就是反面朝上的次數,x 就是 伯努利分布的概率 θ;
參考資料:
https://www.zhihu.com/question/30269898 如何通俗理解 beta 分布?
