貝葉斯定理
貝葉斯定理是關於隨機事件A和B的條件概率和邊緣概率的一則定理。
在參數估計中可以寫成下面這樣：
這個公式也稱為逆概率公式，可以將后驗概率轉化為基於似然函數和先驗概率的計算表達式，即
在貝葉斯定理中，每個名詞都有約定俗成的名稱：
P(A)是A的先驗概率或邊緣概率。之所以稱為"先驗"是因為它不考慮任何B方面的因素。
P(A|B)是已知B發生后A的條件概率(在B發生的情況下A發生的可能性)，也由於得自B的取值而被稱作A的后驗概率。
P(B|A)是已知A發生后B的條件概率，也由於得自A的取值而被稱作B的后驗概率。
P(B)是B的先驗概率或邊緣概率，也作標准化常量（normalized constant）.
按這些術語，Bayes定理可表述為：
后驗概率 = (相似度*先驗概率)/標准化常量，也就是說，后驗概率與先驗概率和相似度的乘積成正比。
另外，比例P(B|A)/P(B)也有時被稱作標准相似度（standardised likelihood），Bayes定理可表述為：
后驗概率 = 標准相似度*先驗概率
貝葉斯估計
貝葉斯估計是在MAP上做進一步拓展，此時不直接估計參數的值，而是允許參數服從一定概率分布。極大似然估計和極大后驗概率估計，都求出了參數theta的值，而貝葉斯推斷則不是，貝葉斯推斷擴展了極大后驗概率估計MAP（一個是等於，一個是約等於）方法，它根據參數的先驗分布P(theta)和一系列觀察X，求出參數theta的后驗分布P(theta|X)，然后求出theta的期望值，作為其最終值。另外還定義了參數的一個方差量，來評估參數估計的准確程度或者置信度。
貝葉斯公式
現在不是要求后驗概率最大，這樣就需要求
,即觀察到的evidence的概率，由全概率公式展開可得
當新的數據被觀察到時，后驗概率可以自動隨之調整。但是通常這個全概率的求法是貝葉斯估計比較有技巧性的地方。
用貝葉斯估計來做預測
如果我們想求一個新值
的概率，可以由下面公式來計算。
此時第二項因子在
上的積分不再等於1，這就是和MLE及MAP很大的不同點。