有一枚硬幣(不知道它是否公平),假如拋了三次,三次都是“花”:
能夠說明它兩面都是“花”嗎?
1 貝葉斯推斷
按照傳統的算法,拋了三次得到三次“花”,那么“花”的概率應該是:
但是拋三次實在太少了,完全有可能是運氣問題。我們應該怎么辦?
托馬斯·貝葉斯(1702-1761),18世紀英國數學家,1742年成為英國皇家學會會員。
貝葉斯認為在實驗之前,應根據不同的情況對硬幣有所假設。不同的假設會得到不同的推斷。
比如和滑不溜手的韋小寶玩。韋小寶可能拿出各種做過手腳的硬幣,讓我們猜不透,只能假設對硬幣一無所知。這種假設之下,我們就只能根據實驗結果來猜測。
因此,實驗結果是“扔三次,三次花”,傾向於認為韋小寶有可能作弊:
大俠陳近南用的可能是公平硬幣:
而憨壞的多隆,真的有可能用兩面“花”來和你玩:
各種假設稱為先驗分布,結合剛才“扔三次,三次花”的實驗數據,推斷出硬幣的后驗分布,這就是貝葉斯推斷:
這里補充一下,可能大家覺得再多拋幾次硬幣就可以了,何必弄什么貝葉斯推斷。不過現實生活中有一些事件不是能夠多“拋”幾次的,比如地震、彗星撞擊地球等等。這里只是借着硬幣來討論問題。
2 分布
那么問題來了,“先驗分布”,“后驗分布”用數學怎么表示:
對於扔硬幣, 分布非常適合用來完成這個任務。
2.1 先驗分布
分布簡記為(這一節里面的所有細節會在后面給出):
根據 參數的不同,形態各異:
這個特性非常適合用來做先驗分布。比如,在韋小寶面前,我們對硬幣一無所知。
貝葉斯說一無所知也就是意味着任何概率都是一樣的,都是有可能的,所以選用均勻分布(所謂的無信息先驗,可以參看這篇文章):
正好就是均勻分布:
正直的陳近南,可能用的是公平硬幣,也就是說概率在0、1之間(0表示“字”,1表示“花”), 可以表示這樣的分布:
而憨壞的多隆,可能用了兩面花,也就是說概率可能集中到1附近, 可以表示這樣的分布:
也就是說可以用 分布來模擬各種先驗分布:
-
一無所知:
-
公平硬幣:
-
兩面花:
2.2 后驗分布
用 分布來模擬扔硬幣的先驗分布之后,通過貝葉斯推斷,得到的后驗分布依然是
分布:
具體到這里:
再具體到韋小寶的情況就是:
其中,用 來表示實驗數據,意思是3次花,0次字(
就是2次花,1次字)。
圖像上的變化就是:
可以看到,作弊的可能性還是比較大的。
陳近南的情況:
結合實驗數據之后,圖像的中心從0.5往0.6方向移動了,作弊可能性有所增加,不過總體來看應該還是公平硬幣的可能性大。
多隆的情況:
更向1集中,作弊的可能性非常高。
3 代數細節
3.1 貝葉斯推斷
貝葉斯推斷:
的應用到二項式分布的數學細節如下。假設實驗數據 服從二項分布:
上面的式子根據貝葉斯定理(離散貝葉斯可以參看怎樣用非數學語言講解貝葉斯定理(Bayes theorem)?,連續貝葉斯可以參看這里)可以表示為:
其中 為“花”的次數。分母與實驗數據無關,可以視作常數:
因此,寫成下面這樣更容易看清楚重點(其中 表示兩者之間成比例):
3.2 分布
長成這個樣子:
其中, 為
函數。
隨着 的變換,
分布形態各異:
3.3 共軛先驗
對於二項式分布,用 分布作為先驗分布,通過貝葉斯推斷之后,后驗分布依然是
分布:
這種特性稱為共軛先驗。
並且:
關於這點的證明請參看這里,需要科學上網。
文章最新版本在(有可能會有后續更新):如何理解貝葉斯推斷,beta分布?