概率分布
| 4種實驗結果 | \(E_1\) | \(E_2\) | \(E_3\) | \(E_4\) |
|---|---|---|---|---|
| 記錄它們發生的次數 | \(y_1\) | \(y_2\) | \(y_3\) | \(y_4\) |
| 記錄次數結果 | 125 | 18 | 20 | 34 |
| 4種結果發生的概率 | \(\frac{1}{2}-\frac{\theta}{4}\) | \(\frac{1}{4}-\frac{\theta}{4}\) | \(\frac{1}{4}+\frac{\theta}{4}\) | \(\frac{\theta}{4}\) |
求\(\theta\)的估計值？
法 1：采用最大似然估計
\[L(\theta) = \frac{(y_1+y_2+y_3+y_4)!}{y_1! y_2! y_3!y_4!}(\frac{1}{2}-\frac{\theta}{4})^{y_1}(\frac{1}{4}-\frac{\theta}{4})^{y_2}(\frac{1}{4}+\frac{\theta}{4})^{y_3}(\frac{\theta}{4})^{y_4} = C\times (\frac{1}{2}-\frac{\theta}{4})^{y_1}(\frac{1}{4}-\frac{\theta}{4})^{y_2}(\frac{1}{4}+\frac{\theta}{4})^{y_3}(\frac{\theta}{4})^{y_4} \]
\[\ln L(\theta) = \ln [C\times (\frac{1}{2}-\frac{\theta}{4})^{y_1}(\frac{1}{4}-\frac{\theta}{4})^{y_2}(\frac{1}{4}+\frac{\theta}{4})^{y_3}(\frac{\theta}{4})^{y_4}] \]
\[\ln L(\theta) = \ln C+y_1\ln (\frac{1}{2}-\frac{\theta}{4}) + y_2\ln (\frac{1}{4}-\frac{\theta}{4})+y_3\ln (\frac{1}{4}+\frac{\theta}{4})+y_4 \ln (\frac{\theta}{4}) \]
\[\frac{\partial \ln L(\theta) }{\partial\theta}=-\frac{y_1}{2-\theta}-\frac{y_2}{1-\theta}+\frac{y_3}{1+\theta}+\frac{y_4}{\theta}=0 \]
\[-\frac{125}{2-\theta}-\frac{18}{1-\theta}+\frac{20}{1+\theta}+\frac{34}{\theta}=0 \]
上面估計\(\theta\)的方程是一個關於\(\theta\)的一元三次方程，問題是不容易求解。
問題轉化求解：EM算法
引入隱藏變量\(Z\)，從新對概率分布進行分配。
| 4種實驗結果 | \(E_1\) | \(E_2\) | \(E_3\) | \(E_4\) | ||
|---|---|---|---|---|---|---|
| 記錄它們發生的次數 | \(y_1\) | \(y_2\) | \(y_3\) | \(y_4\) | ||
| 記錄次數結果 | 125 | 18 | 20 | 34 | ||
| 4種結果發生的概率 | \(\frac{1}{2}-\frac{\theta}{4}\) | \(\frac{1}{4}-\frac{\theta}{4}\) | \(\frac{1}{4}+\frac{\theta}{4}\) | \(\frac{\theta}{4}\) | ||
| 隱藏變量 | \(z_1\) | \(z_2\) | \(z_3\) | \(z_4\) | \(z_5\) | \(z_6\) |
| 發生的概率 | \(\frac{1}{4}-\frac{\theta}{4}\) | \(\frac{1}{4}\) | \(\frac{1}{4}-\frac{\theta}{4}\) | \(\frac{\theta}{4}\) | \(\frac{1}{4}\) | \(\frac{\theta}{4}\) |
存在的關系為：\(y_1=z_1+z_2\; ;y_2=z_3\;;y_3=z_4+z_5\;;y_4=z_6\)
從新計算似然函數
\[L(\theta) = \frac{(z_1+z_2+z_3+z_4+z_5+z_6)!}{z_1! z_2! z_3!z_4!z_5!z_6!}(\frac{1}{4}-\frac{\theta}{4})^{z_1} (\frac{1}{4})^{z_2}(\frac{1}{4}-\frac{\theta}{4})^{z_3}(\frac{\theta}{4})^{z_4} (\frac{1}{4})^{z_5}(\frac{\theta}{4})^{z_6} \]
\[\ln L(\theta) = \ln C + z_1\ln (\frac{1}{4}-\frac{\theta}{4})+z_2\ln (\frac{1}{4})+z_3\ln(\frac{1}{4}-\frac{\theta}{4})+z_4\ln(\frac{\theta}{4})+z_5\ln(\frac{1}{4})+z_6\ln(\frac{\theta}{4}) \]
\[\frac{\partial \ln L(\theta) }{\partial\theta}=-\frac{z_1+z_3}{1-\theta}+\frac{z_4+z_6}{\theta}=0 \]
求解上式，我們發現由原來的一元三次方程變為了非常容易求解的方程，求解難度減少。
\[\theta^* = \frac{z_4+z_6}{z_4+z_6+z_1+z_3}=\frac{z_4+y_4}{z_4+y_4+z_1+y_2}=\frac{z_4+34}{z_4+34+z_1+18} \]
求解難度降低了，但是我們發現\(z_1\;;z_4\)不知道，我們該如何解決呢？
根據 \(y_1=z_1+z_2\; ;y_2=z_3\;;y_3=z_4+z_5\;;y_4=z_6\)；可以得知
\[z_1\sim B(y_1, \frac{\frac{1}{4}-\frac{\theta}{4}}{\frac{1}{2}-\frac{\theta}{4}}=\frac{1-\theta}{2-\theta}) \]
\[z_4 \sim B(y_3, \frac{\frac{\theta}{4}}{\frac{1}{4}+\frac{\theta}{4}}=\frac{\theta}{1+\theta}) \]
- 第一步：（E步驟）目的是消去潛在變量 \(z_1\;;z_4\)
\[E(z_1)= y_1\times \frac{1-\theta}{2-\theta}=125\times \frac{1-\theta}{2-\theta} \]\[E(z_4)= y_3\times \frac{\theta}{1+\theta}=20\times \frac{\theta}{1+\theta} \]令 \(z_1 = E(z_1)\;; z_4=E(z_4)\)
- 第二部：（M步驟）目的是最大化估計值\(\theta^*\)
\[\theta^* =\frac{z_4+34}{z_4+34+z_1+18}=\frac{20\times \frac{\theta}{1+\theta}+34}{20\times \frac{\theta}{1+\theta}+34+125\times \frac{1-\theta}{2-\theta}+18} \]
- 采用迭代法求解\(\theta^*\)
\[\theta^{i+1} =\frac{20\times \frac{\theta^i}{1+\theta^i}+34}{20\times \frac{\theta^i}{1+\theta^i}+34+125\times \frac{1-\theta^i}{2-\theta^i}+18} \]
任取 \(\theta \in (0,1)\) ，開始迭代。
eg: \(\theta^0=0.5\) 開始，計算出\(\theta^1\;;\theta^2\;;\theta^3\;;\cdots\) 直到收斂