最大后驗估計(Maximum-a-Posteriori (MAP) Estimation) 【轉】


最大后驗估計是根據經驗數據獲得對難以觀察的量的點估計。與最大似然估計類似,但是最大的不同時,最大后驗估計的融入了要估計量的先驗分布在其中。故最大后驗估計可以看做規則化的最大似然估計。

    首先,我們回顧上篇文章中的最大似然估計,假設x為獨立同分布的采樣,θ為模型參數,f為我們所使用的模型。那么最大似然估計可以表示為:

    

現在,假設θ的先驗分布為g。通過貝葉斯理論,對於θ的后驗分布如下式所示:

    

最后驗分布的目標為:

    

    注:最大后驗估計可以看做貝葉斯估計的一種特定形式。

  舉例來說:

  假設有五個袋子,各袋中都有無限量的餅干(櫻桃口味或檸檬口味),已知五個袋子中兩種口味的比例分別是

    櫻桃 100%

    櫻桃 75% + 檸檬 25%

    櫻桃 50% + 檸檬 50%

    櫻桃 25% + 檸檬 75%

    檸檬 100%

  如果只有如上所述條件,那問從同一個袋子中連續拿到2個檸檬餅干,那么這個袋子最有可能是上述五個的哪一個?

      我們首先采用最大似然估計來解這個問題,寫出似然函數。假設從袋子中能拿出檸檬餅干的概率為p(我們通過這個概率p來確定是從哪個袋子中拿出來的),則似然函數可以寫作

  

  由於p的取值是一個離散值,即上面描述中的0,25%,50%,75%,1。我們只需要評估一下這五個值哪個值使得似然函數最大即可,得到為袋子5。這里便是最大似然估計的結果。

上述最大似然估計有一個問題,就是沒有考慮到模型本身的概率分布,下面我們擴展這個餅干的問題。

假設拿到袋子1或5的機率都是0.1,拿到2或4的機率都是0.2,拿到3的機率是0.4,那同樣上述問題的答案呢?這個時候就變MAP了。我們根據公式

  

寫出我們的MAP函數。

  

根據題意的描述可知,p的取值分別為0,25%,50%,75%,1,g的取值分別為0.1,0.2,0.4,0.2,0.1.分別計算出MAP函數的結果為:0,0.0125,0.125,0.28125,0.1.由上可知,通過MAP估計可得結果是從第四個袋子中取得的最高。

  上述都是離散的變量,那么連續的變量呢?假設為獨立同分布的,μ有一個先驗的概率分布為。那么我們想根據來找到μ的最大后驗概率。根據前面的描述,寫出MAP函數為:

  

  此時我們在兩邊取對數可知。所求上式的最大值可以等同於求

  

  的最小值。求導可得所求的μ為

  

  以上便是對於連續變量的MAP求解的過程。

在MAP中我們應注意的是:

    MAP與MLE最大區別是MAP中加入了模型參數本身的概率分布,或者說。MLE中認為模型參數本身的概率的是均勻的,即該概率為一個固定值。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM