機器學習（二十五）— 極大似然估計（MLE）、貝葉斯估計、最大后驗概率估計（MAP）區別

本文轉載自查看原文 2018-08-07 21:40 1626 機器學習

　　最大似然估計（Maximum likelihood estimation, 簡稱MLE）和最大后驗概率估計（Maximum aposteriori estimation, 簡稱MAP）是很常用的兩種參數估計方法。

1、最大似然估計（MLE）

　　在已知試驗結果（即是樣本）的情況下，用來估計滿足這些樣本分布的參數，把可能性最大的那個參數作為真實的參數估計。

　　也就是說，最大似然估計，就是利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的參數值(模型已知，參數未知）。

（1）基本思想

　　當從模型總體隨機抽取n組樣本觀測值后，最合理的參數估計量應該使得從模型中抽取該n組樣本觀測值的概率最大，而不是像最小二乘估計法旨在得到使得模型能最好地擬合樣本數據的參數估計量。

　　例如，我們知道這個分布是正態分布，但是不知道均值和方差；或者是二項分布，但是不知道均值。最大似然估計（MLE，Maximum Likelihood Estimation）就可以用來估計模型的參數。MLE的目標是找出一組參數，使得模型產生出觀測數據的概率最大。

（2）模型推導

　　假設樣本集D={x1 、x2 、…、xn}，假設樣本之間都是相對獨立的，注意這個假設很重要！於是便有：

　　所以假設似然函數為：

　　接下來我們求參的准則便是如名字一樣最大化似然函數：

　　如果求得的θ 是參數空間中能使似然函數最大的取值，則θ是最可能的參數取值，即最大的似然估計值。

　　似然函數取對數：就是防止先驗概率為0，那么上面的L(θ|D)整個式子便都成0 了，那肯定是不行的啊，不能因為一個數據誤差影響了整個數據的使用。同時那么多先驗概率相乘，可能出現下溢出。所以引入拉普拉斯修正，也就是取對數ln，想必大家在數學中都用過這種方法的。

　　所以最大化的目標便是：

　　之后對參數求偏導，偏導數為0，求解最優值。

　　 求最大似然函數估計值的一般步驟：
（1）寫出似然函數
（2）對似然函數取對數，並整理
（3）求導數
（4）解似然方程

（3）推導舉例

　　我們拿這枚硬幣拋了10次，得到的數據（ $x_{0}$ 那么，出現實驗結果 $x_{0}$

$f (x_{0}, θ) = (1 - θ) \times θ \times θ \times θ \times θ \times (1 - θ) \times θ \times θ \times θ \times (1 - θ) = θ^{7} (1 - θ)^{3} = f (θ)$

　　對似然函數求對數，得到對數似然函數后對參數θ求導，令導數為0，求解θ的值。此處求得θ=0.7。

$f (x_{0}, θ) = (1 - θ) \times θ \times θ \times θ \times θ \times (1 - θ) \times θ \times θ \times θ \times (1 - θ) = θ^{7} (1 - θ)^{3} = f (θ)$ 最大似然估計的特點：

1.比其他估計方法更加簡單；

2.收斂性：無偏或者漸近無偏，當樣本數目增加時，收斂性質會更好；

3.如果假設的類條件概率模型正確，則通常能獲得較好的結果。但如果假設模型出現偏差，將導致非常差的估計結果。

2、貝葉斯估計

　　貝葉斯統計的重點：參數未知且不確定，因此作為隨機變量，參數本身也是一個分布，同時，根據已有的信息可以得到參數θ的先驗概率，根據先驗概率來推斷θ的后驗概率。

　　不同於ML估計，不再把參數θ看成一個未知的確定變量，而是看成未知的隨機變量，通過對第i類樣本D_i的觀察，使概率密度分布P(D_i|θ)轉化為后驗概率P(θ|D_i)，再求貝葉斯估計。

　　貝葉斯估計是在MAP上做進一步拓展，此時不直接估計參數的值，而是允許參數服從一定概率分布。極大似然估計和極大后驗概率估計，都求出了參數theta的值，而貝葉斯推斷則不是，貝葉斯推斷擴展了極大后驗概率估計MAP（一個是等於，一個是約等於）方法，它根據參數的先驗分布P(theta)和一系列觀察X，求出參數theta的后驗分布P(theta|X)，然后求出theta的期望值，作為其最終值。另外還定義了參數的一個方差量，來評估參數估計的准確程度或者置信度。

　　貝葉斯估計：從參數的先驗知識和樣本出發。期望后延信息在真實的θ值處有一個尖峰。