機器學習之馬爾科夫隨機場


  馬爾科夫隨機場是典型的馬爾科夫網(MRF),是一個可以由無向圖表示的概率分布模型。圖中每個結點表示一個或者一組變量,結點之間的邊表示兩個變量之間的依賴關系。在馬爾科夫隨機場中存在一組勢函數(定義在變量子集上的非負實函數),也稱為因子,主要是用於定義概率分布函數。

 

1、模型的定義

  首先來了解圖的概念,對於圖G,結點和邊分別記作v和e,結點和邊的集合分別記作V和E,則圖可以表示為

  G =(V,E)

  而對於無向圖就是指結點之間的邊是沒有方向的。

  概率圖模型就是由圖表示的概率分布(准確的說就是表示各變量之間的依賴關系)。設有聯合概率分布P(Y) 是一組隨機變量,給出表示它的無向圖G。則這組隨機變量位於圖中的各結點上。在這里我們引入三個概念:成對馬爾科夫性、局部馬爾科夫性、全局馬爾科夫性,用來表示無向圖中隨機變量之間的關系。

  成對馬爾科夫性:設u和v是無向圖G中任意兩個沒有邊連接的結點(也就是說兩個之間沒有依賴的關系),結點u和v分別對應隨機變量Yu和Yv。其他所有結點為O,對應的隨機變量組是YO。則成對馬爾科夫性的表達式如下

  

  上面式子的意思是在給定了隨機變量組YO的條件下隨機變量Yu和Yv是條件獨立的。

  局部馬爾科夫性:設v是無向圖G中的任意結點,W是與v有邊連接的所有結點,O是v,W以外的所有結點(相當於W將v和O給隔開了)。則在給定W的條件下,v和O之間是相互獨立的,表達式如下

  

  全局馬爾科夫性:設結點集A,B在無向圖G中被結點集合C分開的任意結點的集合,具體如下圖所示

  

  則在給定了集合C的條件下結點集合A和B之間是相互獨立的,具體表達式如下

  

  仔細觀察發現這三種性質實質上是等價的,成對馬爾科夫性和局部馬爾科夫性都可以看作是全局馬爾科夫性的特殊形式。那這三種性質提出來有什么用呢?首先滿足這三種性質的聯合概率分布P(Y)可以稱為馬爾科夫隨機場或者概率無向圖模型。而對於馬爾科夫隨機場,可以將聯合概率分布P(Y)拆分成多個因子的乘積,這樣就便於計算P(Y)。

 

2、模型的因子分解

  首先引入團和最大團的概念。什么是團?在無向圖G中,若一個子集中的各個節點兩兩之間均有邊連接,則將該子集稱為團。那什么是最大團呢?最大團就是不能被其他團包含的團(對於一個團,當加入一個新的結點之后無法構成團,則稱為最大團)。團也等價與勢函數。舉一個具體的例子來理解

  

  對於上圖中的無向圖模型,團的個數有五個:{Y1, Y2},{Y2, Y3},{Y3, Y4},{Y4, Y2},{Y1, Y3}。最大團的個數有兩個:{Y1, Y2, Y3},{Y2, Y3, Y4}。

  對於我們的聯合概率分布P(Y)就可以分解為最大團上的隨機變量的函數的乘積,這就是概率無向圖模型的因子分解。對於給定的無向圖G,C為G上的最大團,YC表示C對應的隨機變量。那么聯合概率分布可以表示為

  

  

  在這里函數ΨC(YC)就是最大團C上的勢函數。

  引入規范場因子Z是為了保證概率P(Y)構成一個概率分布,勢函數因為要求是嚴格正的,因此通常一般定義為指數函數

  

  因此對於滿足馬爾科夫隨機場的聯合概率分布可以通過因子分解的形式求解。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM