馬爾可夫隨機場——概率圖模型之無向圖

目錄

• 馬爾可夫隨機場 - 條件獨立性
  • 成對馬爾可夫性質
  • 局部馬爾可夫性質
  • 全局馬爾可夫性質
• 馬爾可夫隨機場 - 因子分解
  • 最大團
  • 概率密度函數

馬爾可夫隨機場 - 條件獨立性

如圖，顯示了無向圖的四個例子。圖\(G\)包含數據對\((V,E)\)，其中\(V\)是頂點的集合，\(E\)為邊的集合。在馬爾可夫網絡中，每個頂點表示一個隨機變量，頂點之間的邊表示兩個變量之間的依賴關系，兩個頂點之間缺失邊表示條件獨立。如圖\((a)\)中，在給定\(Y\)的情況下，\(X\)和\(Z\)是獨立的。在圖\((b)\)中，\(Z\)與\(X,Y,W\)中的每一個都是獨立的。
假設我們有圖\(G\)，它的頂點集合\(V\)表示聯合分布為\(P\)的隨機變量集。在馬爾可夫圖\(G\)中，某條邊的缺失表示在給定其他頂點的變量時，對應的隨機變量是條件獨立的。

成對馬爾可夫性質

設\(u\)和\(v\)是無向圖\(G\)中任意兩個沒有邊連接的結點（也就是說兩個之間沒有依賴的關系），結點\(u\)和\(v\)分別對應隨機變量\(Y_u\)和\(Y_v\)。其他所有結點為\(O\)，對應的隨機變量組是\(Y_O\)。則成對馬爾可夫性的表達式如下:

\[P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O） \]

上式的意思是在給定隨機變量組\(Y_o\)的條件下，隨機變量\(Y_u\)和\(Y_v\)是條件獨立的。如圖\((a)\)中，在給定\(Y\)的觀測值下，\(X\)和\(Z\)是獨立的。

局部馬爾可夫性質

設\(v\)是無向圖\(G\)中的任意結點，\(W\)是與\(v\)有邊連接的所有結點，\(O\)是\(v,W\)以外的所有結點（相當於\(W\)將\(v\)和\(O\)給隔開了）。則在給定\(W\)的條件下，\(v\)和\(O\)之間是相互獨立的，表達式如下:

\[P(Y_v,Y_O|Y_W)=P(Y_v|Y_W)P(Y_O|Y_W) \]

在具有正分布的馬爾可夫網絡中，局部馬爾可夫性質和成對馬爾可夫性質實質是等價的。

全局馬爾可夫性質

如果\(A,B\)和\(C\)為子圖，且若\(A\)和\(B\)的任一路徑都交於\(C\)中的頂點，則稱\(C\)分離\(A\)和\(B\)。舉個栗子，\(Y\)分離圖\((a)\)和\((d)\)中的\(X\)和\(Z\)，並且\(Z\)分離\((d)\)中的\(Y\)個\(W\)。如圖\((b)\)中，\(Z\)與\(X,Y,W\)不相連，則我們稱這兩個集合被空集分離。在圖\((c)\)中，\(C=X,Z\)分離\(Y\)和\(W\)。
分離集有良好的性質，它們將圖分解成條件獨立的部分。

馬爾可夫隨機場 - 因子分解

最大團

全局馬爾可夫性質允許我們將圖分解成更小的易控制的片段，因此在計算和解釋性上有本質上的簡化．基於這個目的，我們將圖分解成 團 (clique)。團是一個完全子圖——所有頂點都與其他點鄰接的頂點集；如果一個團，沒有其他頂點可以加進去仍保持是一個團的稱為最大團。
在上述\((a)、(b)、(c)、(d)\)四幅圖中，對應的最大團為:

• (a) \(\{X,Y\}, \{Y,Z\}\)
• (b) \(\{X,Y,W\}, \{Z\}\)
• (C) \(\{X,Y\}, \{Y,Z\}, \{Z,W\}, \{X,W\}\)
• (d) \(\{X,Y\}, \{Y,Z\}, \{Z,W\}\)

概率密度函數

馬爾可夫網絡中，概率密度函數\(f\)可以表示成:

\[f(x)=\frac{1}{Z} \prod_{C\in c} \Psi_c(x_C) \]

\[Z=\sum_Y \prod_C \Psi_c(Y_C) \]

其中\(C\)為最大團的集合，並且正函數\(\Psi_C\)稱為團勢,就是最大團上的勢函數。
引入規范因子\(Z\)(所有可能取值求和)是為了保證概率\(P(Y)\)構成一個概率分布，勢函數因為要求是嚴格正的，因此通常一般定義為指數函數：

\[\Phi_c(Y_c)=exp\{-E(Y_c)\} \]

於是概率密度函數的分布形式和指數族分布形式上相同，這個分布其實叫做\(Gibbs\)分布(玻爾茲曼分布)，滿足最大熵原理。