條件隨機場

馬爾可夫隨機場

概率圖模型是由圖表示的概率分布。概率無向圖模型又稱馬爾可夫隨機場（Markov random field），表示一個聯合概率分布，其標准定義為：

設有聯合概率分布\(P(V)\)由無向圖\(G=(V, E)\)表示，圖\(G\)中的節點表示隨機變量，邊表示隨機變量間的依賴關系。如果聯合概率分布\(P(V)\)滿足成對、局部或全局馬爾可夫性，就稱此聯合概率分布為概率無向圖模型或馬爾可夫隨機場。

成對馬爾可夫性

設無向圖\(G\)中的任意兩個沒有邊連接的節點\(u\),\(v\) ，其他所有節點為\(O\)，成對馬爾可夫性指：給定\(Y_O\)的條件下，\(Y_u\)和\(Y_v\)條件獨立

\[P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O) \]

局部馬爾可夫性

設無向圖\(G\)的任一節點\(v\)，\(W\)是與\(v\)有邊相連的所有節點，\(O\)是\(v\)、\(W\)外的其他所有節點，局部馬爾可夫性指：給定\(Y_W\)的條件下，\(Y_v\)和\(Y_O\)條件獨立

全局馬爾可夫性

設節點集合\(A\)、\(B\)是在無向圖\(G\)中被節點集合\(C\)分開的任意節點集合，全局馬爾可夫性指：給定\(Y_C\)的條件下，\(Y_A\)和\(Y_B\)條件獨立

條件隨機場

條件隨機場的定義

條件隨機場

設\(X\)和\(Y\)是隨機變量，\(P(Y|X)\)是在給定\(X\)的條件下\(Y\)的條件概率分布。若隨機變量\(Y\)構成一個有無向圖\(G=(V,E)\)表示的馬爾可夫場，即

\[P(Y_v|X,Y_w,w\neq v)=P(Y_v|X,Y_w, w \sim v) \]

對任意節點\(v\)都成立，則稱\(P(Y|X)\)是條件隨機場。式中\(w≠v\)表示\(w\)是除\(v\)以外的所有節點，\(w∼v\)表示\(w\)是與\(v\)相連接的所有節點。

線性鏈條件隨機場

對於線性鏈條件隨機場來說，圖\(G\)的每條邊都存在於狀態序列\(Y\)的相鄰兩個節點，最大團\(C\)是相鄰兩個節點的集合，\(X\)和\(Y\)有相同的圖結構意味着每個\(X_i\)都與\(Y_i\)一一對應。

設\(X=(X_1,...,X_n),Y=(Y_1,...,Y_n)\)均為線性鏈表示的隨機變量序列，若在給定隨機變量序列\(X\)的條件下，隨機變量序列\(Y\)的條件分布\(P(Y|X)\)構成條件隨機場，即滿足馬爾可夫性

\[P(Y_i|X,Y_1,\cdots,Y_{i−1},Y_{i+1},\cdots,Y_n)=P(Y_i|X,Y_{i−1},Y_{i+1}), \\ i=1,\cdots,n \quad \text{其中當$i$取1或$n$時只考慮單邊}\]

則稱\(P(Y|X)\)為線性鏈條件隨機場。在標注問題中\(X\)表示輸入觀測序列，\(Y\)表示對應的狀態序列。

條件隨機場的形式

參數化形式

設\(P(Y|X)\)為線性鏈條件隨機場，則在隨機變量\(X\)取值為\(x\)的條件下，隨機變量\(Y\)取值為\(y\)的條件概率具有如下形式：

\[P(y|x)=\frac{1}{Z(x)}\exp \left[ \sum_{i,k}\lambda_kt_k(y_{i-1},y_i,x,i)+\sum_{i,l}\mu_ls_l(y_i,x,i) \right] \]

其中

\[Z(x)=\sum_{y}\exp \left[ \sum_{i,k}\lambda_kt_k(y_{i-1},y_i,x,i)+\sum_{i,l}\mu_ls_l(y_i,x,i) \right] \]

式中，\(t_k\)和\(s_t\)是特征函數，\(\lambda_k\)和\(\mu_l\)是對應的權值。

上式是基本形式，表示給定輸入序列\(x\),對輸出序列\(y\)預測的條件概率。\(t_k\)是定義在邊上的特征函數，稱為轉移特征，依賴於當前和前一個位置，\(s_l\)是定義在節點上的特征函數，稱為狀態特征，依賴於當前位置。\(t_k\)和\(s_l\)都依賴於位置，是局部特征函數。通常都是0-1函數。

線性鏈條件隨機場也是對數線性模型(邏輯回歸也是)。

簡化形式

將轉移特征和狀態特征機器權值用統一的符號表示。設有\(K_1\)個轉移特征，\(K_2\)個狀態特征，\(K=K_1+K_2\)，記

\[f_k(y_{i-1},y_i,x,i)=\begin{cases} t_k(y_{i-1},y_i,x,i) \quad k=1,2,\cdots,K_1 \\ s_l(y_i,x,l) \quad k=K_1+l; \ l=1,2,\cdots,K_2 \end{cases}\]

然后，對轉移與狀態特征在各個位置\(i\)求和，記作

\[f_k(y,x)=\sum \limits_{i=1}^n f_k(y_{i-1},y_i,x,i),\quad k=1,2,\cdots,K \]

用\(w_k\)表示特征\(f_k(y,x)\)的權值，即

\[w_k=\begin{cases} \lambda_k, \quad k=1,2\cdots,K_1 \\ \mu_l, \quad k=K_1+l, \ l=1,2,\cdots,K_2 \end{cases}\]

於是，條件隨機場可以表示為

\[p(y|x)=\frac{1}{Z_y(x)}\exp \sum_{k=1}^K w_kf_k(y,x) \]

還可以把\(w_k\)和\(f_k(y,x)\)表示成向量的形式

矩陣形式

引進特殊的起點和和終點狀態標記\(y_0=start,y_{n+1}=stop\)，這是\(P_w(y|x)\)(簡化形式)可以通過矩陣形式表示

對觀測序列\(x\)的每一個位置\(i=1,2,\cdots,n+1\)，定義一個\(m\)階的矩陣(m是標記\(y_i\)取值的個數)

\[M_i(x)=[M_i(y_{i-1},y_i|x)] \]

\[M_i(y_{i-1},y_i|x)=\exp(W_i(y_{i+1,y_i|x})) \]

\[W_i(y_{i+1},y_i|x)=\sum_{k=1}^K w_kf_k(y_{i-1},y_i,x,i) \]

這樣，給定觀測序列\(x\)，相應標記序列\(y\)的非規范化概率可以通過該序列\(n+1\)個矩陣適當元素的乘積\(\prod_{i=1}^{n+1}M_i(y_{i-1},y_i|x)\)表示，於是條件概率\(P_w(y|x)\)是

\[P_w(y|x)=\frac{1}{Z_w(x)}\prod_{i=1}^{n+1}M_i(y_{i-1},y_i|x) \]

其中，\(Z_w(x)\)是規范化因子，是\(n+1\)個矩陣的乘積的(start，stop)元素。

\[Z_w(x)=(M_1(x)M_2(x)\cdots M_{n+1}(x))_{start,stop} \]

注意，\(y_0=start\)與\(y_{n+1}=stop\)表示開始開始狀態和終止狀態，規范化因子\(Z_w(x)\)是以start為起點stop為終點通過狀態的所有路徑\(y_1 y_2 \cdots y_n\)的非規范化概率\(\prod_{i=1}^{n+1}M_i(y_{i-1},y_i|x)\)之和。