CRF的進化
https://flystarhe.github.io/2016/07/13/hmm-memm-crf/參考：
http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/
說明：因為MEMM只在局部做歸一化，所以容易陷入局部最優，而CRF模型中，統計了全局概率，在做歸一化時，考慮數據在全局的分布，而不是僅僅在局部歸一化，解決了MEMM中的標記偏置的問題，可以得到全局最優；CRF沒有HMM那樣嚴格的獨立性假設條件，因而可以容納任意的上下文信息，特征設計靈活。但是CRF有明顯的缺點：訓練代價大、復雜度高。
補充說明：首先，CRF，HMM(隱馬模型)，MEMM(最大熵隱馬模型)都常用來做序列標注的建模，像詞性標注，True casing。但隱馬模型一個最大的缺點就是由於其輸出獨立性假設，導致其不能考慮上下文的特征，限制了特征的選擇，而最大熵隱馬模型則解決了這一問題，可以任意的選擇特征，但由於其在每一節點都要進行歸一化，所以只能找到局部的最優值，同時也帶來了標記偏見的問題（label bias），即凡是訓練語料中未出現的情況全都忽略掉，而條件隨機場則很好的解決了這一問題，他並不在每一個節點進行歸一化，而是所有特征進行全局歸一化，因此可以求得全局的最優值。目前，條件隨機場的訓練和解碼的開源工具還只支持鏈式的序列，復雜的尚不支持，而且訓練時間很長，但效果還可以。
標記偏置問題：MEMM最大熵馬爾可夫模型
路徑1-1-1-1的概率:0.4*0.45*0.5=0.09
路徑2-2-2-2的概率:0.2*0.3*0.3=0.018
路徑1-2-1-2的概率:0.6*0.2*0.5=0.06
存在的問題：State 1中每個結點都傾向於轉移到State 2，由於MEMM的局部歸一化特性，使得轉出概率的分布不均衡，最終導致狀態的轉移存在不公平的情況
如果把每個節點轉出概率和為1的限制去掉，比如我們簡單把圖中State 2中每個結點出發的邊的概率值×10
路徑1-1-1-1的概率:0.4*0.45*0.5=0.09
路徑2-2-2-2的概率:2*3*3=18
路徑1-2-1-2的概率:0.6*2*0.5=0.6
HMM,MEMM,CRF
HMM模型中兩個假設：一是輸出觀察值之間嚴格獨立，二是狀態的轉移過程中當前狀態只與前一狀態有關(一階馬爾可夫模型)
MEMM模型克服了觀察值之間嚴格獨立產生的問題
CRF模型解決了標注偏置問題
CRF的部分推導
CRF的特征函數
對分數進行標准化和歸一化：
CRF的求解
優化采用的是帶懲罰項的極大似然估計
求解可以用梯度上升，牛頓法，BFGS
CRF和HMM之間的聯系
HMM的定義：（每個HMM都能對應莫個CRF）
CRF可以定義數量更多，種類更豐富的特征函數。HMM模型具有天然具有局部性，就是說，在HMM模型中，當前的單詞只依賴於當前的標簽，當前的標簽只依賴於前一個標簽。這樣的局部性限制了HMM只能定義相應類型的特征函數，我們在上面也看到了。但是CRF卻可以着眼於整個句子s定義更具有全局性的特征函數，如這個特征函數：
CRF可以使用任意的權重 將對數HMM模型看做CRF時，特征函數的權重由於是log形式的概率，所以都是小於等於0的，而且概率還要滿足相應的限制