貝葉斯網絡——概率圖模型之有向圖

目錄

• 圖模型
• 貝葉斯網絡
• 條件獨立的三種情況
  • 第一種情況tail-to-tail
  • 第二種情況tail-to-head
  • 第三種情況head-to-head
• D-seperation
• 貝葉斯網絡模型

圖模型

圖模型是用圖的方式表示概率推理 ，將概率模型可視化，方便展示變量之間的關系，概率圖分為有向圖和無向圖。有向圖主要是貝葉斯網絡，無向圖主要是馬爾科夫隨機場。

貝葉斯網絡

為了理解有向圖對於描述概率分布的作⽤，⾸先考慮三個變量\(a, b, c\)上的⼀個任意的聯合分布\(p(a, b, c)\)。通過使⽤概率的乘積規則，我們可以將聯合概率分布寫成如下形式:

\[p(a,b,c)=p(c|a,b)p(a,b) \]

再次使用乘積規則，這次處理方程右側的第二項，我們有:

\[p(a,b,c)=p(c|a,b)p(b|a)p(a) \]

這個分解方法對於任意的聯合概率分布都成立。我們可以使用一個簡單的圖模型來表示該式的右側。

在該圖中，我們為每個隨機變量\(a,b,c\)都引入一個結點，然后對於每個條件概率分布，都在圖中添加一條有向邊，邊的tail是條件概率中條件對應的隨機變量的結點，例如對於因子\(p(c|a,b)\)，會存在從結點\(a,b\)到結點\(c\)的邊，而對於因子\(p(a)\),沒有輸入的邊。

對於上圖，這個圖的概率模型如下:

\[p(x_1,x_2,\cdots,x_7)=p(x_1)p(x_2)p(x_3)p(x_4|x_1,x_2,x_3)p(x_5|x_1,x_3)p(x_6|x_4)p(x_7|x_4,x_5) \]

因此形式化一下，貝葉斯網絡表示的聯合分布是:

\[p(x)=\sum_{k=1}^Kp(x_k|p_{a_k}) \]

其中,\(p_{a_k}\)是\(x_k\)的所有父節點。

條件獨立的三種情況

條件獨立這個概念，我們在朴素貝葉斯中接觸過，意思是給定\(a,b,c\)，如果\(p(a,b|c)=p(a|c)p(b|c)\)，則說明給定\(c\)，\(a\)和\(b\)條件獨立。在貝葉斯網絡中，條件獨立的圖模型主要有以下三種情況:

第一種情況tail-to-tail

\(C\)位於兩個箭頭的尾部，稱作\(tail-to-tail\)，這種情況，\(c\)未知的時候，\(a,b\)是不獨立的。\(c\)已知的時候，\(a,b\)條件獨立。
在\(c\)未知的時候，\(p(a,b)\)如下求解：

\[p(a,b)=\sum_c{p(a|c)p(b|c)p(c)} \]

可以看出，無法得出:\(p(a,b)=p(a)p(b)\)，所以\(a,b\)不獨立。
如果\(c\)已知，則:

\[p(a,b|c)=\frac{p(a,b,c)}{p(c)}=\frac{p(a|c)}{p(b|c)} \]

所以\(a,b\)條件獨立於\(c\)。

第二種情況tail-to-head

如圖：

這種情況也是\(c\)未知時，\(a\)和\(b\)不獨立，\(c\)已知時，\(a\)和\(b\)條件不獨立。\(c\)已知時，\(a\)和\(b\)條件獨立於\(c\)，推導如下:

\[p(a,b|c)=\frac{p(a,b,c)}{p(c)}=\frac{(p(a)p(c|a)p(b|c)}{p(c)}=p(a|c)(b|c) \]

第三種情況head-to-head

如圖:

這種情況反過來了，\(c\)未知時，\(a\)和\(b\)是獨立的，但當\(c\)已知時，\(a\)和\(b\)不滿足條件獨立，因為:

\[p(a,b,c)=p(a)p(b)p(c|a,b) \]

計算該概率的邊界概率，得：

\[p(a,b)=p(a)p(b) \]

所以\(a\)和\(b\)相互獨立。
但是當\(c\)已知時：

\[p(a,b|c)=\frac{p(a,b,c)}{p(c)}=\frac{p(a)p(b)p(c|a,b)}{p(c)} \]

無法得到\(p(a,b|c)=p(a|c)p(b|c)\)

D-seperation

將這三種情況總結，就是貝葉斯網絡的一個重要概念，D-separation，這個概念的內容就是:
\(A,B,C\) 三組節點，如果\(A\)中的任意節點與\(B\)的任意節點的所有路徑上，存在以下節點，就說\(A\)和\(B\)被\(C\)阻斷：

• \(A\)到\(B\)的路徑上存在tail-to-tail或head-to-tail形式的節點，並且該節點屬於\(C\)
• 路徑上存在head-to-head的節點，並且該節點不屬於\(C\)
  舉個栗子：
  
  在上圖中，假設(a)中的\(c\)和（b）中的\(f\)是已知的。
  （a）中，節點\(f\)和節點\(e\)都不是d-seperation的。因為\(f\)是tail-to-tail，但\(f\)不是已知的，因此\(f\)不屬於\(C\)。\(e\)是head-to-head，但\(e\)的子節點\(c\)是已知的，所以\(e\)也不屬於\(C\)。
  同理（b）中，\(f\)和\(e\)都是d-seperation。

貝葉斯網絡模型

• 單一: 朴素貝葉斯
• 混合: GMM
• 時間: 馬爾科夫鏈 、 高斯過程
• 連續: 高斯貝葉斯網絡

總結: 因為有了這些條件獨立的規則，我們可以將圖理解成一個filter。即給定一系列隨機變量，其聯合分布\(p(x_1,x_2,\cdots,x_n)\)，理論上可以分解成各種條件分布的乘積，但過一遍圖，不滿足圖表示依賴關系和條件獨立的分布就被過濾掉。所以圖模型，用不同隨機變量之間的鏈接表示各種關系，可以表示復雜的分布模型。