1.貝葉斯學習
要了解這三個概念，需要先知道什么是貝葉斯學習。
貝葉斯學習就是根據給定數據的先驗概率計算每種假設的可能性，它是基於先驗和后驗概率的乘積的，計算式如下：
這個公式的意思是，在某個data出現的情況下，這個data屬於某一class類的概率等於這個class的先驗概率乘以后驗概率，其中P(class)是先驗概率，P(data|class)是條件概率。
2.MAP（最大后驗概率）
上面的式子為每一類（class）都求出了在某個data出現情況下，屬於這類（class）的概率。然而，大多數時候，我們只是想知道這個data最可能屬於哪一類。那么，我們只求出使上個式子左邊最大的那個類即可，這就是MAP，公式如下：
3.MA（最大似然）
該種情況下，我們假設先驗概率分布是均勻的，即認為每個
都是等概率出現的，那么公式中將不出現這一項，簡化為：
也就是說，我們僅僅根據當前的得到的數據，來對它屬於某一類（也可以說成它的參數）進行估計。估計的標准是，該參數或該類將令出現該數據的概率最大。
4.EM（最大期望）
最大期望指的是，在所有隱變量未知的情況下，根據現有數據，估計出數據的分布參數（例如：混合高斯分布或者僅僅單一高斯分布），這是一種無監督聚類方法。公式如下：
C代表多個不同分布，x代表數據，
表示每個數據的出現概率是由多個分布中的概率乘以每個分布的權值（即每個分布的概率）決定的。其中，權值和各個分布成分的參數均未知。
總的來說，最大期望算法采用E步驟和M步驟迭代，直到收斂。
E步驟：
M步驟：
計算新的參數（均值，協方差或方差）和權重
這部分可以參考混合高斯模型的論文《Adaptive background mixture models for real-time tracking》以及《混合高斯模型GMM（英文）》
基本的思路就是先任意給定一個初始的參數和權值（一般為1/n，n是高斯分布的數量），然后根據獲得的數據來不斷的更新參數和權值，直到某一次迭代得到的參數和權值與上一次迭代的參數和權值相差小於某個小量（例如為0.001），我們說參數收斂，迭代停止。