朴素貝葉斯與貝葉斯網絡

標簽（空格分隔）： 機器學習

---

朴素貝葉斯

朴素貝葉斯朴素在哪里呢？ —— 兩個假設

• 一個特征出現的概率與其他特征（條件）獨立；
• 每個特征同等重要。

朴素貝葉斯分類器

\(P(c|x) = \frac{P(c)P(x|c)}{P(x)} = \frac{P(x)}{P(x)}\Pi_{i=1}^{d}P(x_{i}|c)\)
1）計算先驗概率及條件概率；
2）對於給定的實例，用貝葉斯公式計算后驗概率。
在計算類條件概率時，如果不加平滑因子，則是利用極大似然估計；
如果加上平滑因子，就是拉普拉斯平滑。

一個貝葉斯決策的例子

現在有兩個袋子，袋子X中裝有2顆紅球和2顆黑球，還有1美元；袋子Y中裝有1顆紅球和2顆黑球。在選擇袋子之前，可以從任意一個袋子中選擇一個小球，如果摸出來的是紅球，應該選哪個袋子？如果摸出來的是黑球。又應該選擇哪個袋子？

• 用R表示紅球，用B表示黑球。
• 選擇每個袋子的概率：\(P(X) = \frac{1}{2}, P(Y) = \frac{1}{2}\);
• 選擇了袋子X的條件下摸到紅球的概率：\(P(R|X) = \frac{1}{2}\),摸到黑球的概率：\(P(B|X) = \frac{1}{2}\);
• 選擇了袋子Y的條件下摸到紅球的概率：\(P(R|Y) = \frac{1}{3}\),摸到黑球的概率：\(P(B|Y) = \frac{2}{3}\);
• 由全概率公式：摸到紅球的概率\(P(R) = P(R|X)P(X) + P(R|Y)P(Y) = \frac{5}{12}\); 摸到黑球的概率為\(P(B) = P(B|X)P(X) + P(B|Y)P(Y) = \frac{7}{12}\);
• 由貝葉斯公式：
• 摸到紅球時，是袋子X的概率為：\(P(X|R) = \frac{P(R|X)P(X)}{P(R)} = \frac{3}{5}\);
• 摸到紅球時，是袋子Y的概率為：\(P(Y|R) = \frac{P(R|Y)P(Y)}{P(R)} = \frac{2}{5}\);
• 摸到黑球時，是袋子X的概率為：\(P(X|B) = \frac{P(B|X)P(X)}{P(B)} = \frac{3}{7}\);
• 摸到黑球時，是袋子Y的概率為：\(P(Y|B) = \frac{P(B|Y)P(Y)}{P(B)} = \frac{4}{7}\).
• 所以摸到的球是紅色時，選擇這個袋子；摸到的球是黑色時，選擇另外一個袋子。

圖模型

根據是否是有向圖，可以分為有向圖模型和無向圖模型。
有向圖模型（又稱為貝葉斯網絡）：包含隱馬爾科夫模型，馬爾科夫隨機過程；
無向圖模型（又稱為馬爾科夫網絡）：條件隨機場等

貝葉斯網絡

朴素貝葉斯可以看做是貝葉斯網絡的特殊情況：即該網絡中無邊，各個節點都是獨立的。
那么，當朴素貝葉斯中的強假設：獨立同分布不成立時，應該如何解決呢？可以使用貝葉斯網絡。
貝葉斯網絡借助有向無環圖來刻畫屬性之間的依賴關系，並使用條件概率表來描述屬性的聯合概率分布。
貝葉斯網絡的學習主要包括3部分：貝葉斯網絡\(B\)由結構\(G\)和參數\(\theta\)構成，即\(B = <G, \theta>\)

• 結構，即創建貝葉斯模型；建模型通過領域知識和數據本身得出。
• 學習，即估計模型中的參數；
• 推斷，即作出最后的決策。