最近在看深度學習的"花書" （也就是Ian Goodfellow那本了），第五章機器學習基礎部分的解釋很精華，對比PRML少了很多復雜的推理，比較適合閑暇的時候翻開看看。今天准備寫一寫很多童鞋們w未必完全理解的最大似然估計的部分。
單純從原理上來說，最大似然估計並不是一個非常難以理解的東西。最大似然估計不過就是評估模型好壞的方式，它是很多種不同評估方式中的一種。未來准備寫一寫最大似然估計與它的好朋友們，比如說貝葉斯估計 (Beyasian Estimation), 最大后驗估計(Maximum Posterior Estimation)的關系。
(版權所有，轉載請注明出處)
最大似然估計
如果寫出最大似然估計的公式的話是這樣的：
\[\theta_\text{ML}={arg\,max}_\theta P(Y|X;\theta)\]
假設一個模型是一個圖片分類任務，從一個\(256 \times 256\)的圖片來識別出模型到底是一個貓，一個狗，還是其他什么東西。那么輸入就是\(256 \times 256\)的矩陣（圖片），輸出就是一個3維的向量，比如說\(\{0.1, 0,2,0.7\}\)代表從圖片到對應三個分類的概率。
對於這個任務而言，我們需要學習的是一個給定分類函數的參數\(\theta\), 這個函數可以是任何函數，只要這個函數最終能輸出三分類對應的概率向量就可以了。對於\(\theta\)而言，我們的目標是，對於給定的輸入，輸出值越接近真實值越理想，這個就是所謂的最大似然。
如果用模型訓練的角度上來說，我們可以把公式展開成如下的形式：
\[{arg\,max}_\theta \sum_{i=1}^{n} log P(y^\text{(i)}|x^\text{(i)};\theta) \]
在這里，\(x^\text{(i)}\)和\(y^\text{(i)}\)分別代表一張訓練數據的圖片和訓練數據圖片代表的分類結果，在公式里面求和是希望考慮所有的樣本情況。由於用於訓練的圖片是事先標注好的屬於某一個類別，所以最終的概率向量的每一個分量不是\(0\)就是\(1\)，比如說\(\{0, 1,0\}\), \(\{0,0,1\}\)之類的。
那么問題來了，我們如何來判斷目前\(\theta\)的輸出概率更接近於真實的概率呢？在這里我們能用到一個現成的工具： KL Divergence (KL散度), KL 散度是用來判斷兩個概率分布的距離，其公式為（假設我們要判斷從概率分布P到概率分布Q的距離）:
\[D_\text{KL}(P||Q)=-\sum_{i} P(i) log \frac{Q(i)}{P(i)}\]
所以說在我們這里就成為:
\[D_\text{KL}(Y||\hat{Y})=-\sum_{i} y^\text{(i)} log \frac {\hat{y}^\text{(i)}}{y^\text{(i)}}\]
在這里\(y^\text{(i)}\)指的是標注好的輸出，而\(\hat{y}^\text{(i)}\)指的是算法的輸出。
那么我們的優化目標就變成了使得\(D_\text{KL}\)最小。
交叉熵
這里不想敘述太多關於熵和交叉熵的基本知識，簡單來說交叉熵是用來計算兩個函數或者概率之間的距離，計算的方式也是使用的KL Divergence，在機器學習的世界里面大概可以認為交叉熵和最大似然估計是一回事，如果看到這兩個術語應該把他們聯系在一起。
具體可以參考下面的幾篇文章：
1) Andrew Moore關於信息論的Tutorial。
2) A Friendly Introduction to Cross-Entropy Loss
與深度學習的關系
那么最大似然估計（交叉熵）與深度神經網絡有什么關系呢？如果你寫過TensorFlow的程序的話，你會注意到程序的最后往往會加上一個Softmax函數。Softmax函數一個重要的性質就是把輸出歸一化轉換到每一個對應分類的概率。一旦轉換為概率之后，我們就可以用到最大似然估計（交叉熵）的方式來求得最大似然或者最小交叉熵。
在這里推薦Tobe同學的一篇總結Cross Entropy在Tensorflow中應用的文章：
其他參考資料
1） https://www.autonlab.org/_media/tutorials/mle13.pdf
2） http://www.mi.fu-berlin.de/wiki/pub/ABI/Genomics12/MLvsMAP.pdf