最大期望算法（Expectation-maximization algorithm，又譯期望最大化算法）在統計中被用於尋找，依賴於不可觀察的隱性變量的概率模型中，參數的最大似然估計。
在統計計算中，最大期望（EM）算法是在概率（probabilistic）模型中尋找參數最大似然估計或者最大后驗估計的算法，其中概率模型依賴於無法觀測的隱藏變量（Latent Variable）。最大期望經常用在機器學習和計算機視覺的數據聚類（Data Clustering）領域。最大期望算法經過兩個步驟交替進行計算，第一步是計算期望（E），利用對隱藏變量的現有估計值，計算其最大似然估計值；第二步是最大化（M），最大化在 E 步上求得的最大似然值來計算參數的值。M 步上找到的參數估計值被用於下一個 E 步計算中，這個過程不斷交替進行。
歷史
最大期望值算法由 Arthur Dempster,Nan Laird和Donald Rubin在他們1977年發表的經典論文中提出。他們指出此方法之前其實已經被很多作者"在他們特定的研究領域中多次提出過"。
[編輯]EM簡單教程
EM是一個在已知部分相關變量的情況下，估計未知變量的迭代技術。EM的算法流程如下：
- 初始化分布參數
- 重復直到收斂：
- E步驟：估計未知參數的期望值，給出當前的參數估計。
- M步驟：重新估計分布參數，以使得數據的似然性最大，給出未知變量的期望估計。
應用於缺失值。
最大期望過程說明
我們用 
表示能夠觀察到的不完整的變量值，用 
表示無法觀察到的變量值，這樣 和 一起組成了完整的數據。 可能是實際測量丟失的數據，也可能是能夠簡化問題的隱藏變量，如果它的值能夠知道的話。例如，在混合模型（Mixture Model）中，如果“產生”樣本的混合元素成分已知的話最大似然公式將變得更加便利（參見下面的例子）。
估計無法觀測的數據
讓 
代表矢量 
: 
定義的參數的全部數據的概率分布（連續情況下）或者概率聚類函數（離散情況下），那么從這個函數就可以得到全部數據的最大似然值，另外，在給定的觀察到的數據條件下未知數據的條件分布可以表示為：
參考文獻
§ Arthur Dempster, Nan Laird, and Donald Rubin. "Maximum likelihood from incomplete data via the EM algorithm". Journal of the Royal Statistical Society, Series B, 39(1):1–38, 1977 [1].
§ Robert Hogg, Joseph McKean and Allen Craig. Introduction to Mathematical Statistics. pp. 359-364. Upper Saddle River, NJ: Pearson Prentice Hall, 2005.
§ Radford Neal, Geoffrey Hinton. "A view of the EM algorithm that justifies incremental, sparse, and other variants". In Michael I. Jordan (editor),Learning in Graphical Models pp 355-368. Cambridge, MA: MIT Press, 1999.
§ The on-line textbook: Information Theory, Inference, and Learning Algorithms，by David J.C. MacKay includes simple examples of the E-M algorithm such as clustering using the soft K-means algorithm, and emphasizes the variational view of the E-M algorithm.
§ A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models，by J. Bilmesincludes a simplified derivation of the EM equations for Gaussian Mixtures and Gaussian Mixture Hidden Markov Models.
Information Geometry of the EM and em Algorithms for Neural Networks，by Shun-Ichi Amari give a view of EM algorithm from geometry view point
另外一篇博文，有關於EM算法詳細推導：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html