先驗概率:根據以往經驗和分析得到的概率;
后驗概率:事情已經發生,這件事情的發生是由某個原因引起的可能性的大小。(種果因概率,即在一個結果已經發生的條件下,可能是其中某一個原因造成的概率有多大。)
1)先驗:根據統計歷史上的經驗、常識當下事件發生的概率;
2)似然:當下事件由果及因發生的概率;
3)后驗:當下事件由因及果發生的概率。
先驗概率分布,即關於某個變量 p 的概率分布p(θ) ;對於結果 x ,在參數集合 θ 上的似然,就是在給定這些參數值的基礎上,觀察到的結果的概率 L(θ|x)=p(x|θ) ;后驗概率是關於參數 θ 在給定的證據信息 X 下的概率: p(θ|x) 。后驗概率定義如下:p(θ|x)=p(x|θ)p(θ)/p(x)。
舉例理解(1):
先驗——根據若干年的統計(經驗)或者氣候(常識),某地方下雨的概率;
似然——下雨(果)的時候有烏雲(因/證據/觀察的數據)的概率,即已經有了果,對證據發生的可能性描述;
后驗——根據天上有烏雲(原因或者證據/觀察數據),下雨(結果)的概率。
后驗 ~ 先驗*似然 : 存在下雨的可能(先驗),下雨之前會有烏雲(似然)~ 通過現在有烏雲推斷下雨概率(后驗)。
先驗概率可理解為統計概率,后驗概率可理解為條件概率。
舉例理解(2):設定背景:酒至半酣,忽陰雲漠漠,驟雨將至。
情景一:
“天不會下雨的,歷史上這里下雨的概率是20%”----先驗概率
“但陰雲漠漠時,下雨的概率是80%”----后驗概率
情景二:
“飛飛別急着走啊,歷史上酒桌上死人的概率只有5%“----先驗概率
”可他是曹操啊,夢里都殺人“----后驗概率
舉例理解(3):用“瓜熟蒂落”這個因果例子,從概率的角度理解,
先驗概率,就是常識、經驗所透露出的“因”的概率,即瓜熟的概率。
后驗概率,就是在知道“果”之后,去推測“因”的概率,也就是說,如果已經知道瓜蒂脫落,那么瓜熟的概率是多少。
后驗和先驗的關系可以通過貝葉斯公式來求。也就是:P(瓜熟 | 已知蒂落)=P(瓜熟)×P(蒂落 | 瓜熟)/ P(蒂落)
似然函數,根據已知結果去推測固有性質的可能性,是對固有性質的擬合程度,所以不能稱為概率。在這里就是說,不要管什么瓜熟的概率,只關心瓜熟與蒂落的關系。如果蒂落了,那么對瓜熟這一屬性的擬合程度有多大。似然函數,一般寫成L(瓜熟 | 已知蒂落),和后驗概率非常像,區別在於似然函數把瓜熟看成一個肯定存在的屬性,而后驗概率把瓜熟看成一個隨機變量。
似然函數和條件概率的關系:似然函數就是條件概率的逆反。意為:L(瓜熟 | 已知蒂落)= C × P(蒂落 | 瓜熟),C是常數。具體來說,現在有1000個瓜熟了,落了800個,那條件概率是0.8。那我也可以說,這1000個瓜都熟的可能性是0.8C。之所以加個常數項,是因為似然函數的具體值沒有意義,只有看它的相對大小或者兩個似然值的比率才有意義,后面還有例子。
----------------------------------------------------------------------------------------------------
同理,如果理解上面的意義,分布就是一“串”概率。
先驗分布:現在常識不但告訴我們瓜熟的概率,也說明了瓜青、瓜爛的概率
后驗分布:在知道蒂落之后,瓜青、瓜熟、瓜爛的概率都是多少
似然函數:在知道蒂落的情形下,如果以瓜青為必然屬性,它的可能性是多少?如果以瓜熟為必然屬性,它的可能性是多少?如果以瓜爛為必然屬性,它的可能性是多少?似然函數不是分布,只是對上述三種情形下各自的可能性描述。
那么我們把這三者結合起來,就可以得到:后驗分布 正比於 先驗分布 × 似然函數。
先驗就是設定一種情形,似然就是看這種情形下發生的可能性,兩者合起來就是后驗的概率。
至於似然估計:就是不管先驗和后驗那一套,只看似然函數,現在蒂落了,可能有瓜青、瓜熟、瓜爛,這三種情況都有個似然值(L(瓜青):0.6、L(瓜熟):0.8、L(瓜爛):0.7),我們采用最大的那個,即瓜熟,這個時候假定瓜熟為必然屬性是最有可能的。
內容源自博客:https://blog.csdn.net/fjssharpsword/article/details/72356277
參考博客:https://www.cnblogs.com/yemanxiaozu/p/7680761.html