最大似然函數估計

首先要知道什么是似然函數，根據百度百科的介紹：

設總體X服從分布P(x；θ)（當X是連續型隨機變量時為概率密度，當X為離散型隨機變量時為概率分布），θ為待估參數，X1,X2,…Xn是來自於總體X的樣本，x1,x2…xn為樣本X1,X2,…Xn的一個觀察值，則樣本的聯合分布（當X是連續型隨機變量時為概率密度，當X為離散型隨機變量時為概率分布）

L（θ）=L（x1,x2,…,xn；θ）=ΠP（xi；θ）稱為似然函數。.............................................................................................................................(1)

（以下部分是我轉載的）

最大似然函數提供了一種給定觀察數據來估計模型參數的方法，即“模型已定，參數未知”。 簡單而言，假設我們要統計全國人口的身高，首先假設這個身高服從服從正態分布，但是該分布的均值與方差未知。我們沒有人力與物力去統計全國每個人的身高，但是可以通過采樣，獲取部分人的身高，然后通過最大似然估計來獲取上述假設中的正態分布的均值與方差。

最大似然估計中采樣需滿足一個很重要的假設，就是所有的采樣都是獨立同分布的。下面我們具體描述一下最大似然估計：

  首先，假設為獨立同分布的采樣，θ為模型參數,f為我們所使用的模型，遵循我們上述的獨立同分布假設。參數為θ的模型f產生上述采樣可表示為

   

 

為了求出Θ, 我們利用(1)寫出似然函數：

　　 ...........................................................................................................(2)

　在實際應用中常用的是兩邊取對數，得到公式如下：

     

　　其中稱為對數似然，而稱為平均對數似然。而我們平時所稱的最大似然為最大的對數平均似然，即：

 　　

 

下面，我們假設樣本都服從高斯分布且方差已知，估計期望使得到這一組數據的概率最大：

(2)可以寫成：

     

　對μ求導可得 ,則最大似然估計的結果為μ=(x1+x2+…+xn)/n

總結：最大似然函數估計法，首先是假設所得的樣本服從某一分布，目標是估計出這個分布中的參數，方法是得到這一組樣本的概率最大時就對應了該模型的參數值，寫出似然函數，再求對數（得到對數似然），再求對數似然函數的平均（對數平均似然），再對其求導，得出參數值。目前我理解的需要求對數的原因是，通常概率是小數，連乘之后會非常小，對計算機而言，容易造成浮點數下溢，所以用了取對數。