貝葉斯網絡

作者：櫻花豬

摘要

本文為七月算法（julyedu.com）12月機器學習第十三次次課在線筆記。貝葉斯網絡又稱信度網絡，是Bayes方法的擴展，是目前不確定知識表達和推理領域最有效的理論模型之一。貝葉斯網絡適用於表達和分析不確定性和概率性的事件，應用於有條件地依賴多種控制因素的決策，可以從不完全、不精確或不確定的知識或信息中做出推理。本節課從朴素貝葉斯模型開始，詳細描述了貝葉斯網絡的意義，構建方案以及其他衍生算法。

引言

貝葉斯網絡是機器學習中非常經典的算法之一，它能夠根據已知的條件來估算出不確定的知識，應用范圍非常的廣泛。貝葉斯網絡以貝葉斯公式為理論接觸構建成了一個有向無環圖，我們可以通過貝葉斯網絡構建的圖清晰的根據已有信息預測未來信息。

本次課程從朴素貝葉斯開始分享了貝葉斯網絡的構建方案、貝葉斯網絡中獨立條件的判斷以及我們熟悉的馬爾科夫模型、馬爾科夫毯等。這一張理論基礎不太強，多為理解內容。

預備知識

最大熵模型、概率統計

一、朴素貝葉斯

1、朴素貝葉斯假設（與貝葉斯網絡區別）

一個特征出現的概率，與其他特征（條件）獨立（特征獨立性），其實是：對於給定分類的條件下，特征獨立

每個特征同等重要（特征均衡性）

例子：文本分類問題：

樣本：10000封郵件，每個郵件被標記為垃圾郵件或者非垃圾郵件

分類目標：給定第10001封郵件，確定它是垃圾郵件還是非垃圾郵件

方法：朴素貝葉斯

類別c：垃圾郵件c1，非垃圾郵件c2

詞匯表，兩種建立方法：

1、使用現成的單詞詞典；2、將所有郵件中出現的單詞都統計出來，得到詞典。

記單詞數目為N

將每個郵件m映射成維度為N的向量xn

若單詞wi在郵件m中出現過，則xi=1，否則，xi=0。即郵件的向量化：m-->(x1,x2……xN)o

貝葉斯公式：P(c|x)=P(x|c)*P(c)/P(x)

P(c1|x)=P(x|c1)*P(c1)/P(x)

P(c2|x)=P(x|c2)*P(c2)/P(x)

注意這里x是向量

(c|x)=P(x|c)*P(c)/P(x)

P(x|c)=P(x1,x2…xN|c)=P(x1|c)*P(x2|c)…P(xN|c)

特征條件獨立假設

P(x)=P(x1,x2…xN)=P(x1)*P(x2)…P(xN)

特征獨立假設

帶入公式：P(c|x)=P(x|c)*P(c)/P(x)

o等式右側各項的含義：

nP(xi|cj)：在cj(此題目，cj要么為垃圾郵件1，要么為非垃圾郵件2)的前提下，第i個單詞xi出現的概率

nP(xi)：在所有樣本中，單詞xi出現的概率

nP(cj)：在所有樣本中，郵件類別cj出現的概率

拉普拉斯平滑（防止是0的情況）

p(x1|c1)是指的:在垃圾郵件c1這個類別中，單詞x1出現的概率。（x1是待考察的郵件中的某個單詞）

定義符號：

n1：在所有垃圾郵件中單詞x1出現的次數。如果x1沒有出現過，則n1=0。

nn：屬於c1類的所有文檔的出現過的單詞總數目。

o得到公式：

o拉普拉斯平滑：

n其中，N是所有單詞的數目。修正分母是為了保證概率和為1

同理，以同樣的平滑方案處理p(x1)

二、貝葉斯網絡

把某個研究系統中涉及的隨機變量，根據是否條件獨立繪制在一個有向圖中，就形成了貝葉斯網絡。

貝葉斯網絡，又稱有向無環圖模型（DAG），是一種概率圖模型，根據概率圖的拓撲結構，考察一組隨機變量{X1,X2...Xn}及其n組條件概率分布（CPD）的性質。

一般而言，貝葉斯網絡的有向無環圖中的節點表示隨機變量，它們可以是可觀察到的變量，或隱變量、未知參數等。連接兩個節點的箭頭代表此兩個隨機變量是具有因果關系(或非條件獨立)。若兩個節點間以一個單箭頭連接在一起，表示其中一個節點是“因(parents)”，另一個是“果(children)”，兩節點就會產生一個條件概率值。

每個結點在給定其直接前驅時，條件獨立於其非后繼。