1. 極大似然估計
假設有一枚硬幣，我們想確定這枚硬幣是否質地均勻。即想知道拋這枚硬幣，正反面出現的概率各是多少？於是我們將這枚硬幣拋了10次，得到的數據x0是：反正正正正反正正正反。我們想求的正面概率θ是模型參數，而拋硬幣模型可以假設服從二項分布。
那么，出現實驗結果x0（反正正正正反正正正反）的似然函數是多少呢？
而極大似然估計，顧名思義，就是要最大化這個函數。
我們可以畫出f(θ)的圖像：
從圖像中可以觀察到，θ=0.7時，函數取值最大。也就是說，我們通過最大化似然函數后，得到了模型參數的值，相應的，正反面出現的概率也就求出了。
極大似然估計需要保證所有的采樣都是獨立同分布的。
2. 容易混淆的概念
- 極大似然估計就是最大似然估計。
- 極大似然概率這個名詞描述是不准確的，筆者查閱了整個英文互聯網，都沒有找到 ‘Maximum likelihood probability’這個詞。所以，不存在“極大似然概率”這個說法。
3. 最大后驗概率
與極大似然估計相比，使用最大后驗概率估計θ時，首先認為θ本身存在一個分布，即θ有先驗分布。
還是以判斷一枚硬幣是否質地均勻為例。假設正面概率θ滿足均值為0.5，方差為1的先驗分布，即：
那么，將這枚硬幣拋了10次，得到的數據x0是：反正正正正反正正正反。
因為考慮了先驗分布，所以實驗結果x0的函數可以表示為：
因此，我們可以通過最大化這個后驗概率函數求得θ，我們可以畫出f(θ)的圖像：
計算得到θ = 0.696。也就是說，采用最大后驗概率計算得到硬幣正面朝上的概率為0.696。
4. 似然與概率分別指的什么
似然： 英文單詞為likelihood，有道翻譯的翻譯結果為：十有八九。
概率： 如果我有一枚質地均勻的硬幣，那么它出現正面朝上的概率是0.5。
似然： 如果我拋一枚硬幣100次，正面朝上52次，那么它十有八九是質地均勻的。
再舉一個例子加深理解。 假設有人向我挑戰一個“有利可圖的賭博游戲”。
概率： 幫助我們計算預期的收益和損失(平均值、眾數、中值、方差、信息比率、風險值、賭徒破產等等)。
似然： 幫助我們量化是否首先應該相信那些概率。
實際上，似然幾乎可以等價於置信度。