1. 什么是極大似然估計
在日常生活中，我們很容易無意中就使用到極大似然估計的思想，只是我們並不知道極大似然估計在數學中的如何確定以及推導的。下面我們使用兩個例子讓大家大概了解一下什么是極大似然估計：
（1）獵人師傅和徒弟一同去打獵，遇到一只兔子，師傅和徒弟同時放槍，兔子被擊中一槍，那么是師傅打中的，還是徒弟打中的？
（2）一個袋子中總共有黑白兩種顏色100個球，其中一種顏色90個，隨機取出一個球，發現是黑球。那么是黑色球90個？還是白色球90個？
對於第（1）個問題，由於師傅的技術一般比徒弟高，因此我們會猜測兔子是師傅打中的。對於第（2）個問題，對於顏色有90個的球，我們抽中它的概率更大，因此當抽中為黑色球時，我們便會認為90個的是黑色球。
對於以上兩個例子可以看出，我們在進行猜測時，往往認為：概率最大的事件，最可能發生，因此在一次試驗中就出現的事件應當具有較大的概率。
2. 極大似然原理及數學表示
極大似然原理是指：若一次試驗有 $ n $ 個可能結果 $ A_1, A_2,...,A_n $ ，現在我們做一次試驗，試驗的結果為 $ A_i $ ，那么我們就可以認為事件 $ A_i $ 在這個 $ n $ 個可能結果中出現的概率最大。
極大似然估計是指：在一次抽樣中，樣本出現的概率是關於參數 $ \theta $ 的函數，若在一些試驗中，得到觀測值 $ x_1,x_2,...,x_n $ ，則我們可以選取 $ \hat{\theta}(x_1,x_2,..,x_n) $ 作為 $ \theta $ 的估計值，使得當 $ \theta = \hat{\theta}(x_1,x_2,..,x_n) $ 時，樣本出現的概率最大。而極大似然估計就是要求解出參數 $ \theta $ 的估計值。可采用極大似然估計法。
3. 極大似然估計法(Maximum Likelihood Estimation,MLE)
（1）若總體 $ X $ 為離散型
假設分布律為 $ P \lbrace X=x \rbrace = p(x;\theta) $ ，$ \theta $ 為待估計參數，$ p(x;\theta) $ 表示估計參數為 $ \theta $ 時，發生 $ x $ 的概率。
那么當樣本值為： $ x_1,x_2,...,x_n $ 時， $$ L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta) $$
其中 $ L(\theta) $ 稱為樣本的似然函數。
若滿足： $$ L(x_1,x_2,...,x_n;\hat{\theta}) = max_{\theta}L(x_1,x_2,...,x_n;\theta) $$
也就是說，當參數 $ \theta = \hat{\theta} $ 時，似然函數可以取最大值，那么 $ \hat{\theta} $ 就叫做參數 $ \theta $ 的極大似然估計值。
（2）若總體 $ X $ 為連續型
假設概率密度為 $ f (x;\theta) $ ，$ \theta $ 為待估計參數。
那么當樣本值為： $ x_1,x_2,...,x_n $ 時， $$ L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n f(x_i;\theta) $$
其中 $ L(\theta) $ 稱為樣本的似然函數。
若滿足： $$ L(x_1,x_2,...,x_n;\hat{\theta}) = max_{\theta}L(x_1,x_2,...,x_n;\theta) $$
也就是說，當參數 $ \theta = \hat{\theta} $ 時，似然函數可以取最大值，那么 $ \hat{\theta} $ 就叫做參數 $ \theta $ 的極大似然估計值。
4. 極大似然估計法求估計值的步驟：
（1）構造似然函數 $ L(\theta) $ ：
$ L(\theta) =\prod_{i=1}^n p(x_i;\theta) (離散型) ; L(\theta)=\prod_{i=1}^n f(x_i;\theta) (連續型) $
（2）取對數： $ \log L(\theta) $ (以 $ e $ 為底)；
（3）令 $ \frac{\delta \log L(\theta)}{\delta \theta} = 0 $ ；
（4）解似然方程得到 $ \theta $ 的極大似然估計值 $ \hat{\theta} $ 。
5. 極大似然估計法應用
（1）假設一個袋子裝有白球與紅球，比例未知，現在抽取10次（每次抽完都放回，保證事件獨立性），假設抽到了7次白球和3次紅球，在此數據樣本條件下，可以采用最大似然估計法求解袋子中白球的比例。
求解過程：
該試驗屬於二項分布，我們定義 $ M $ 為模型，抽到白球的概率為 $ \theta $ ，而抽到紅球的概率為 $ 1- \theta $ ，因此10次抽取抽到白球7次紅球3次的概率(似然函數)為： $$ L(\theta) = \begin{pmatrix} 10 \ 7 \ \end{pmatrix} P(x_1,x_2,...,x_{10}|M) = \begin{pmatrix} 10 \ 7 \ \end{pmatrix} P(x_1|M) \times P(x_2|M) \times ... \times P(x_{10}|M) = \begin{pmatrix} 10 \ 7 \ \end{pmatrix} \theta^7(1-\theta)^3 $$
其對數似然函數為: $$ \log L(\theta) = \log [ \begin{pmatrix} 10 \ 7 \ \end{pmatrix} \theta^7(1-\theta)^3 ] $$
求 $$ \frac{\delta \log L(\theta)}{\delta \theta} = 0 $$
即 $$ 7\theta^6(1-\theta)^3 - 3\theta^7(1-\theta)^2 = 0 \implies \theta = 0.7 $$ ，
二項式系數為常數，在求導過程中會被抵消。
故白球的比例為 $ 0.7 $ 。
（2）設總體 $ X ~ N(\mu, \sigma^2) $ ，$ \mu, \sigma^2 $ 為未知參數，$ x_1,x_2,...,x_n $ 是來自 $ X $ 的一個樣本值，求 $ \mu, \sigma^2 $ 的極大似然估計值。
求解過程：
X的概率密度為： $$ f(x;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} $$
似然函數為： $$ L(\mu,\sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_i-\mu)^2}{2\sigma^2}} $$
取對數為： $$ \log L(\mu,\sigma^2) = -\frac{n}{2} \log (2\pi) - \frac{n}{2} \log \sigma^2 - \frac{1}{2\sigma^2} \sum_{i=1}^n(x_i-\mu)^2 $$
令 $$ \begin{cases} \frac{\delta}{\delta \mu} \log L(\mu,\sigma^2) = 0 \ \frac{\delta}{\delta \sigma^2} \log L(\mu,\sigma^2) = 0 \end{cases} $$
即 $$ \begin{cases} \frac{1}{\sigma^2}[\sum_{i=1}^n x_i - n \mu] = 0 \ - \frac{n}{2 \sigma^2}+ \frac{1}{2(\sigma^2)^2} \sum_{i=1}^n (x_i-\mu)^2 = 0 \end{cases} $$
求得參數估計值為： $$ \begin{cases} \hat{\mu} = \frac{1}{n} \sum_{i=1}^n x_i =\overline{x} \ \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\overline{x})^2 \end{cases} $$
引用及參考：
[1] https://www.jianshu.com/p/f1d3906e4a3e
[2] https://blog.csdn.net/zengxiantao1994/article/details/72787849
[3] https://wenku.baidu.com/view/0d9af6aa172ded630b1cb69a.html
[4] https://www.cnblogs.com/xing901022/p/8418894.html
寫在最后：本文參考以上資料進行整合與總結，屬於原創，文章中可能出現理解不當的地方，若有所見解或異議可在下方評論，謝謝！
若需轉載請注明：https://www.cnblogs.com/lliuye/p/9139032.html