1. EM算法-數學基礎

1. EM算法-數學基礎

2. EM算法-原理詳解

3. EM算法-高斯混合模型GMM

4. EM算法-高斯混合模型GMM詳細代碼實現

5. EM算法-高斯混合模型GMM+Lasso

1. 凸函數

通常在實際中，最小化的函數有幾個極值，所以最優化算法得出的極值不確實是否為全局的極值，對於一些特殊的函數，凸函數與凹函數，任何局部極值也是全局極致，因此如果目標函數是凸的或凹的，那么優化算法就能保證是全局的。

定義1：集合\(R_c\subset E^n\)是凸集，如果對每對點\(\textbf{x}_1,\textbf{x}_2\subset R_c\)，每個實數\(\alpha,0<\alpha<1\)，點\(\textbf{x}\in R_c\)

\[\textbf{x}=\alpha\textbf{x}_1+(1-\alpha)\textbf{x}_2 \]

定義2：我們稱定義在凸集\(R_c\)上的函數\(f(x)\)為凸的，如果對每對\(\textbf{x}_1,\textbf{x}_2 \in R_c\)與每個實數\(\alpha ,0<\alpha<1\)，則滿足不等式

\[f[\alpha\textbf{x}_1+(1-\alpha)\textbf{x}_2]\leq\alpha f(\textbf{x}_1)+(1-\alpha)f(\textbf{x}_2) \]

如果\(\textbf{x}_1\neq\textbf{x}_2\)，則f(x)是嚴格凸的。

\[f[\alpha\textbf{x}_1+(1-\alpha)\textbf{x}_2]<\alpha f(\textbf{x}_1)+(1-\alpha)f(\textbf{x}_2) \]

2. Jensen不等式

定義1：若\(f(x)\)為區間\(X\)上的凸函數，則\(\forall n \in \mathbb N, n \ge 1,\), 若\(\forall i \in \mathbb N, 1 \le i \le n, x_i \in X, \lambda_i \in \mathbb R,\),且\(\sum^n_{i=1}\lambda_i=1\), 則：

\[f(\sum_{i=1}^{n} \lambda_i x_i) \le \sum_{i=1}^{n} \lambda_i f(x_i) \]

推論1：若\(f(x)\)為區間\(R\)上的凸函數，\(g(x): R \rightarrow R\)為一任意函數，\(X\)為一取值范圍有限的離散變量，\(E [f \left ( g(X) \right ) ]\)與\(E[g(X)]\)都存在，則：

\[E [f \left ( g(X) \right ) ] \ge f \left (E[g(X)] \right ) \]

3. 極大似然估計

極大似然估計方法（Maximum Likelihood Estimate，MLE）也稱為最大概似估計或最大似然估計。

一般說來，事件\(A\)發生的概率與某一未知參數\(\theta\)有關，\(\theta\)的取值不同，則事件\(A\)發生的概率\(P(A|\theta)\)也不同，當我們在一次試驗中事件\(A\)發生了，則認為此時的\(\theta\)值應是\(t\)的一切可能取值中使\(P(A|\theta)\)達到最大的那一個，極大似然估計法就是要選取這樣的\(t\)值作為參數t的估計值，使所選取的樣本在被選的總體中出現的可能性為最大。

直觀的例子：
設甲箱中有99個白球，1個黑球；乙箱中有1個白球．99個黑球。現隨機取出一箱，再從抽取的一箱中隨機取出一球，結果是黑球，這一黑球從乙箱抽取的概率比從甲箱抽取的概率大得多，這時我們自然更多地相信這個黑球是取自乙箱的。