最大似然函數

最大似然估計

概率

定義

某個事件發生的可能性，通常知道分布規律以及具體參數的情況下，就可以計算出某個事件發生的概率

似然

定義

給定已知數據來擬合模型，或者說給定某一結果，求某一參數值的可能性

似然函數與概率密度函數

設總體分布 \(f(X;\theta)\)，\(x1, ...,x_n\) 是從總體分布中抽出的樣本，那么樣本 \((x_1, ...,x_n)\) 的聯合分布：

\(L(x_1, x_2, ...x_n;\theta) = f(x_1;\theta)f(x_2;\theta)···f(x_n;\theta)\)

當固定 \(\theta\) 時，看作是 \(x_1, x_2, ..., x_n\) 的函數時， \(L\) 是一個概率密度函數

當固定 \(x1,...,x_n\) 時， 把 \(L\) 看作是 \(\theta\) 的函數，由於 \(\theta\) 有一定的值， 但是未知，並非隨機變量，不能叫做概率， 而叫似然。

\(L(\theta) = L（x_1, x_2, ...., x_n; \theta）= \prod_{i - 1}^{n}f(x_i;\theta)\) 則為已知樣本 \(x_1, x_2,...,x_n\)的似然函數

似然函數所做的是計算事件發生可能性的大小的函數，且參數未知，當 \(\theta\) 取不同的值時表現的意義是不一樣的，假設 \(L(X_,...,x_n;\theta_1) > L(X_,...,x_n;\theta_2)\) 表示當 \(\theta=\theta_1\) 時，隨機變量 \(X\) 取 \(x_1, x_2, ...,x_n\) 這組樣本的概率更大

最大似然估計

求已知數據及其分布模型的模型參數

例子

拋硬幣，每組拋 \(10\) 次，拋 6 組， 假設 拋硬幣服從二項式分布

\(x1, ..., x_6 = \{4, 5,5, 2, 7, 4 \}\)

記每次實驗的似然函數 \(p(x_i = k)\) 為 \(f(x_i|\theta)\)， 指在參數 \(\theta\) 的前提下，發生 \(x_i\) 事件的概率，相當於條件概率。

則總的似然函數（聯合概率） 為：

\[L(\theta) = \prod_{i = 1}^{6}f(x_i|\theta) \quad (iid) \]

如何求出 \(\theta\) ， 類似極大值的思想，對似然函數進行求導，如果多個未知參數，則進行求偏導.

Tip:

由於連乘求導比較不方便，根據函數 \(g(x)\) 和 \(ln(g(x))\) 的單調時保持一致的，因為我們可以選擇把似然函數 \(L(x)\) 轉化為 \(ln(L(x))\), 這樣連乘變為連加：

\[ln(L(\theta)) = ln(\prod_{i - 1}^{n}f(x_i;\theta)) = ln(f(x1; \theta))·ln(f(x2; \theta)) · ... · ln(f(x_n; \theta)) = \sum_{i = 1}^{n} ln(f(x_i;\theta)) \]