最大似然估計(MLE)與最小二乘估計(LSE)的區別

最大似然估計與最小二乘估計的區別

標簽（空格分隔）： 概率論與數理統計

---

最小二乘估計

對於最小二乘估計來說，最合理的參數估計量應該使得模型能最好地擬合樣本數據，也就是估計值與觀測值之差的平方和最小。

設Q表示平方誤差，\(Y_{i}\)表示估計值，\(\hat{Y}_{i}\)表示觀測值，即\(Q = \sum_{i=1}^{n}(Y_{i} - \hat{Y}_{i})^{2}\)

最大似然估計

對於最大似然估計來說，最合理的參數估計量應該使得從模型中抽取該n組樣本的觀測值的概率最大，也就是概率分布函數或者似然函數最大。

顯然，最大似然估計需要已知這個概率分布函數，一般假設其滿足正態分布函數的特性，在這種情況下，最大似然估計與最小二乘估計是等價的，也就是估計的結果是相同的。
最大似然估計原理：

1. 當給定樣本\(x_{1}, x_{2}, ... ,x_{n}\)時，定義似然函數為\(L(\theta) = f(x_{1}, x_{2}, ... ,x_{n};\theta)\);
2. \(L(\theta)\)看做是\(\theta\)的函數，最大似然估計就是用使\(L(\theta)\)達到最大值的\(\hat{\theta}\)去估計\(\theta\)，這時稱\(\hat{\theta}\)為\(\theta\)的最大似然估計;

MLE的步驟：

1. 由總體分布導出樣本的聯合概率函數（或聯合密度）；
2. 把樣本聯合概率函數的自變量看成是已知常數，而把\(\theta\)看做是自變量，得到似然函數\(L(\theta)\);
3. 求似然函數的最大值（常常取對數，然后求駐點）；
4. 用樣本值帶入得到參數的最大似然估計。

例題

設一個有偏的硬幣，拋了100次，出現1次人頭，99次字。問用最大似然估計（ML）和最小均方誤差（LSE）估計出現人頭的概率哪個大？

LSE

設使用LSE估計，出現人頭的概率為\(\theta\), 則出現字的概率為\(1 - \theta\)。
已知觀測量為：（觀測到的）出現人頭的概率為\(\frac{1}{100}\), （觀測到的）出現字的概率為\(\frac{99}{100}\),則由最小二乘估計：
\(Q(\theta) = argmin_{\theta}\sum_{1}^{100}(\theta - \hat{\theta})^{2} \\ = argmin_{\theta} \{(\frac{1}{100} - \theta)^{2} + [\frac{99}{100} - (1-\theta)]^{2} * 99\}\)
令\(\frac{\partial{Q(\theta)}}{\partial{\theta}} = 0\),解得\(\theta = \frac{1}{100}\);

ML

設使用ML估計，所以x服從伯努利分布，\(x \sim B(朝上,\theta)\),
則概率密度函數為：

\[P(x|\theta) = \begin{cases} \theta, & \text{if x 人頭朝上} \\ 1 - \theta, & \text{if x 字朝上} \end{cases} \]

則連續100次試驗的似然函數為：
\(P(x_{1}, x_{2},..x_{100}|\theta) = C_{100}^{1}\theta^{1} * (1 - \theta)^{99} = 100 * \theta^{1} * (1 - \theta)^{99}\)
最大化似然函數，則\(\theta\)至少為駐點，對似然函數取對數並求偏導：
\(\ln P(x_{1}, x_{2},..x_{100}|\theta) = \ln 100 + \ln\theta + 99\ln (1 - \theta)\)
對\(\theta\)求偏導為0，得到：
\(\frac{\partial\ln P(x_{1}, x_{2},..x_{100}|\theta)}{\partial\theta} = \frac{1}{\theta} - \frac{99}{1 - \theta} = 0\), 解得\(\theta = \frac{1}{100}.\)

兩者雖然得到的估計值是一樣的，但是原理完全不同，要對他們的推導過程非常清楚。