最大似然估計：
最大似然估計提供了一種給定觀察數據來評估模型參數的方法，即：“模型已定，參數未知”。簡單而言，假設我們要統計全國人口的身高，首先假設這個身高服從服從正態分布，但是該分布的均值與方差未知。我們沒有人力與物力去統計全國每個人的身高，但是可以通過采樣，獲取部分人的身高，然后通過最大似然估計來獲取上述假設中的正態分布的均值與方差。
最大似然估計中采樣需滿足一個很重要的假設，就是所有的采樣都是獨立同分布的。下面我們具體描述一下最大似然估計：
首先，假設
為獨立同分布的采樣，θ為模型參數,f為我們所使用的模型，遵循我們上述的獨立同分布假設。參數為θ的模型f產生上述采樣可表示為
回到上面的“模型已定，參數未知”的說法，此時，我們已知的為
，未知為θ，故似然定義為:
在實際應用中常用的是兩邊取對數，得到公式如下：
其中
稱為對數似然，而
稱為平均對數似然。而我們平時所稱的最大似然為最大的對數平均似然，即：
舉個別人博客中的例子，假如有一個罐子，里面有黑白兩種顏色的球，數目多少不知，兩種顏色的比例也不知。我 們想知道罐中白球和黑球的比例，但我們不能把罐中的球全部拿出來數。現在我們可以每次任意從已經搖勻的罐中拿一個球出來，記錄球的顏色，然后把拿出來的球 再放回罐中。這個過程可以重復，我們可以用記錄的球的顏色來估計罐中黑白球的比例。假如在前面的一百次重復記錄中，有七十次是白球，請問罐中白球所占的比例最有可能是多少？很多人馬上就有答案了：70%。而其后的理論支撐是什么呢？
我們假設罐中白球的比例是p，那么黑球的比例就是1-p。因為每抽一個球出來，在記錄顏色之后，我們把抽出的球放回了罐中並搖勻，所以每次抽出來的球的顏 色服從同一獨立分布。這里我們把一次抽出來球的顏色稱為一次抽樣。題目中在一百次抽樣中，七十次是白球的概率是P(Data | M)，這里Data是所有的數據，M是所給出的模型，表示每次抽出來的球是白色的概率為p。如果第一抽樣的結果記為x1，第二抽樣的結果記為x2... 那么Data = (x1,x2,…,x100)。這樣，
P(Data | M)
= P(x1,x2,…,x100|M)
= P(x1|M)P(x2|M)…P(x100|M)
= p^70(1-p)^30.
那么p在取什么值的時候，P(Data |M)的值最大呢？將p^70(1-p)^30對p求導，並其等於零。
70p^69(1-p)^30-p^70*30(1-p)^29=0。
解方程可以得到p=0.7。
在邊界點p=0,1，P(Data|M)=0。所以當p=0.7時，P(Data|M)的值最大。這和我們常識中按抽樣中的比例來計算的結果是一樣的。
假如我們有一組連續變量的采樣值（x1,x2,…,xn），我們知道這組數據服從正態分布，標准差已知。請問這個正態分布的期望值為多少時，產生這個已有數據的概率最大？
P(Data | M) = ？
根據公式
可得:
對μ求導可得
,則最大似然估計的結果為μ=(x1+x2+…+xn)/n
由上可知最大似然估計的一般求解過程：
（1） 寫出似然函數；
（2） 對似然函數取對數，並整理；
（3） 求導數 ；
（4） 解似然方程
注意：最大似然估計只考慮某個模型能產生某個給定觀察序列的概率。而未考慮該模型本身的概率。這點與貝葉斯估計區別。貝葉斯估計方法將在以后的博文中描述
本文參考
http://en.wikipedia.org/wiki/Maximum_likelihood
最大后驗概率：
最大后驗估計是根據經驗數據獲得對難以觀察的量的點估計。與最大似然估計類似，但是最大的不同時，最大后驗估計的融入了要估計量的先驗分布在其中。故最大后驗估計可以看做規則化的最大似然估計。
首先，我們回顧上篇文章中的最大似然估計，假設x為獨立同分布的采樣，θ為模型參數,f為我們所使用的模型。那么最大似然估計可以表示為：
現在，假設θ的先驗分布為g。通過貝葉斯理論，對於θ的后驗分布如下式所示：
最后驗分布的目標為：
注：最大后驗估計可以看做貝葉斯估計的一種特定形式。
舉例來說：
假設有五個袋子，各袋中都有無限量的餅干(櫻桃口味或檸檬口味)，已知五個袋子中兩種口味的比例分別是
櫻桃 100%
櫻桃 75% + 檸檬 25%
櫻桃 50% + 檸檬 50%
櫻桃 25% + 檸檬 75%
檸檬 100%
如果只有如上所述條件，那問從同一個袋子中連續拿到2個檸檬餅干，那么這個袋子最有可能是上述五個的哪一個？
我們首先采用最大似然估計來解這個問題，寫出似然函數。假設從袋子中能拿出檸檬餅干的概率為p(我們通過這個概率p來確定是從哪個袋子中拿出來的)，則似然函數可以寫作
由於p的取值是一個離散值，即上面描述中的0,25%，50%，75%，1。我們只需要評估一下這五個值哪個值使得似然函數最大即可，得到為袋子5。這里便是最大似然估計的結果。
上述最大似然估計有一個問題，就是沒有考慮到模型本身的概率分布，下面我們擴展這個餅干的問題。
假設拿到袋子1或5的機率都是0.1，拿到2或4的機率都是0.2，拿到3的機率是0.4，那同樣上述問題的答案呢？這個時候就變MAP了。我們根據公式
寫出我們的MAP函數。
根據題意的描述可知，p的取值分別為0,25%，50%，75%，1，g的取值分別為0.1，0.2,0.4,0.2,0.1.分別計算出MAP函數的結果為：0,0.0125,0.125,0.28125,0.1.由上可知，通過MAP估計可得結果是從第四個袋子中取得的最高。
上述都是離散的變量，那么連續的變量呢？假設
為獨立同分布的
，μ有一個先驗的概率分布為
。那么我們想根據來找到μ的最大后驗概率。根據前面的描述，寫出MAP函數為：
此時我們在兩邊取對數可知。所求上式的最大值可以等同於求
的最小值。求導可得所求的μ為
以上便是對於連續變量的MAP求解的過程。
在MAP中我們應注意的是：
MAP與MLE最大區別是MAP中加入了模型參數本身的概率分布，或者說。MLE中認為模型參數本身的概率的是均勻的，即該概率為一個固定值。