拉普拉斯平滑


 

  假設我們在做一個拋硬幣的實驗,硬幣出現正面的概率是\(\theta\)。在已知前\(n\)次結果的情況下,如何推斷拋下一次硬幣出現正面的概率呢?

  當\(n\)很大的時候,我們可以直接統計正面出現的次數,假設為\(n_1\),然后可以做出推斷\(\theta=\frac{n_1}{n}\)。

  但是,如果\(n\)很小,上述公式就不合適了。注意“硬幣出現正面的概率是\(\theta\)”這句話的意思是說在實驗次數趨近無窮的時候,正面出現的次數除以總拋擲次數近似等於\(\theta\)。而在實驗次數很少的情況下這個比值可能偏離\(\theta\)很遠。比如只做三次試驗,而且全都是反面,如果利用上面的公式來進行計算將得到\(\theta=0\)。這時,我們可以利用貝葉斯定理來做一個更為合理的推斷,結果就是Laplace’s rule of succession。

  假設先驗概率\(P(\theta)\)是\([0,1]\)上的均勻分布。似然 (likelihood)\(P(D|\theta)=\theta^{n_1}(1-\theta)^{n-n_1}\),其中\(D\)代表已知的實驗結果(即出現\(n_1\)次正面)。這樣,利用貝葉斯定理我們可以得到后驗概率的計算公式為:


\(P(\theta|D)=\frac{P(D|\theta)P(\theta)}{\int_0^1 P(D|t)P(t)dt}\)


  根據假設,先驗概率\(P(\theta)\)是\([0,1]\)上的均勻分布,所以可以將其從積分中提出來並消去,得到:


\(P(\theta|D)=\frac{P(D|\theta)}{\int_0^1 P(D|t)t}\)


  再利用公式(Beta函數的性質):


\(\int_0^1P(D|\theta)d\theta=\int_0^1\theta^{n_1}(1-\theta)^{n-n_1}d\theta=\frac{n_1!(n-n_1)!}{(n+1)!}\)


  可以得到后驗概率\(P(\theta|D)\)的表達式:


\(P(\theta|D)=\frac{(n+1)!}{n_1!(n-n_1)!}\theta^{n_1}(1-\theta)^{n-n_1}\)


可見其剛好是Beta分布\(B(n_1+1,n-n_1+1)\),其期望值為\(\frac{n_1+1}{n+2}\)。


  求出了后驗概率\(P(\theta|D)\)的期望值,便可以用它來作為下次出現正面的概率了。可以發現后驗概率相當於把出現正面的次數加上了1,然后把總拋擲次數加2。該方法也可以自然地推廣到拋擲具有多個面的篩子的情況。

  注意這里的核心思想是利用參數的期望值來做估計以達到平滑的效果,即貝葉斯方法,而不是參數的MAP或MLE估計。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM