極大似然估計的數學意義及例題

最大似然估計是一種用來在給定觀察數據下估計所需參數的技術。比如，如果已知人口分布遵從正太分布，但是均值和方差未知， MLE（maximum likelihood estimation）可以利用有限的樣本來估計這些參數。

1.正規定義

從分布 $f_0$中引出 $n$個獨立同分布的觀察 $x_1,x_2,...x_n$，其中 $f_0$是從一族依賴於幾個 $\theta$參數的分布 $f$而得來的。
MLE的目標就是最大化似然函數：
$L=f(x_1,x_2,...x_n|\theta)=f(x_1|\theta)\times f(x_2|\theta)\times ...\times f(x_n|\theta)$
通常， $log$似然函數更容易處理：
$\hat{l}=\frac{1}{n}logL=\frac{1}{n}\sum_{i=1}^{n}logf(x_i|\theta)$

2.舉例

舉例一

一個硬幣被拋了100次，有61次正面朝上，假設硬幣向上的概率猜測有三個 $\frac{1}{3}$, $\frac{1}{2}$, $\frac{2}{3}$，以上三個哪個是最大似然估計？
求解：這個是伯努利分布，假設唯一參數為 $p$，因此：
$P(H=61|p=\frac{1}{3})=\left(\begin{matrix}100\\61\end{matrix}\right)\left(\frac{1}{3}\right)^{61}\left(1-\frac{1}{3}\right)^{39}\approx9.6\times10^{-9}\\P(H=61|p=\frac{1}{2})=\left(\begin{matrix}100\\61\end{matrix}\right)\left(\frac{1}{3}\right)^{61}\left(1-\frac{1}{2}\right)^{39}0.007\\P(H=61|p=\frac{2}{3})=\left(\begin{matrix}100\\61\end{matrix}\right)\left(\frac{2}{3}\right)^{61}\left(1-\frac{2}{3}\right)^{39}\approx0.40$
比較以上三個值可以得出 $p=\frac{2}{3}$是極大似然估計。

舉例二

該例子利用導數為0得到極大似然估計，主動計算。