從貝葉斯方法談到貝葉斯網絡： http://blog.csdn.net/zdy0_2004/article/details/41096141
1 思考模式
比如往台球桌上扔一個球，這個球落會落在何處呢？如果是不偏不倚的把球拋出去，那么此球落在台球桌上的任一位置都有着相同的機會，即球落在台球桌上某一位置的概率
服從均勻分布。這種在實驗之前定下的屬於基本前提性質的分布稱為先驗分布，或的無條件分布。
至此，貝葉斯及貝葉斯派提出了一個思考問題的固定模式：
- 先驗分布
+ 樣本信息
后驗分布
上述思考模式意味着，新觀察到的樣本信息將修正人們以前對事物的認知。換言之，在得到新的樣本信息之前，人們對
的認知是先驗分布，在得到新的樣本信息后，人們對的認知為。
其中，先驗信息一般來源於經驗跟歷史資料。
而后驗分布一般也認為是在給定樣本的情況下的條件分布，而使達到最大的值
稱為最大后驗估計，類似於經典統計學中的極大似然估計。
綜合起來看，則好比是人類剛開始時對大自然只有少得可憐的先驗知識，但隨着不斷是觀察、實驗獲得更多的樣本、結果，使得人們對自然界的規律摸得越來越透徹。所以，貝葉斯方法既符合人們日常生活的思考方式，也符合人們認識自然的規律，經過不斷的發展，最終占據統計學領域的半壁江山，與經典統計學分庭抗禮。
此外，貝葉斯除了提出上述思考模式之外，還特別提出了舉世聞名的貝葉斯定理。
2 貝葉斯定理
在引出貝葉斯定理之前，先學習幾個定義：
- 條件概率就是事件A在另外一個事件B已經發生條件下的發生概率。條件概率表示為P(A|B)，讀作“在B條件下A的概率”。
- 聯合概率表示兩個事件共同發生的概率。A與B的聯合概率表示為
或者
。 - 邊緣概率（又稱先驗概率）是某個事件發生的概率。邊緣概率是這樣得到的：在聯合概率中，把最終結果中那些不需要的事件通過合並成它們的全概率，而消去它們（對離散隨機變量用求和得全概率，對連續隨機變量用積分得全概率），這稱為邊緣化（marginalization），比如A的邊緣概率表示為P(A)，B的邊緣概率表示為P(B)。
接着，考慮一個問題：P(A|B)是在B發生的情況下A發生的可能性。
- 首先，事件B發生之前，我們對事件A的發生有一個基本的概率判斷，稱為A的先驗概率，用P(A)表示；
- 其次，事件B發生之后，我們對事件A的發生概率重新評估，稱為A的后驗概率，用P(A|B)表示；
- 類似的，事件A發生之前，我們對事件B的發生有一個基本的概率判斷，稱為B的先驗概率，用P(B)表示；
- 同樣，事件A發生之后，我們對事件B的發生概率重新評估，稱為B的后驗概率，用P(B|A)表示；
貝葉斯定理便是基於下述貝葉斯公式：
上述公式的推導其實非常簡單，就是從條件概率推出。
3 貝葉斯網絡
又稱信念網絡(Belief Network)，或有向無環圖模型(directed acyclic graphical model)，是一種概率圖模型，於1985年由Judea Pearl首先提出。它是一種模擬人類推理過程中因果關系的不確定性處理模型，其網絡拓朴結構是一個有向無環圖(DAG)。
貝葉斯網絡的有向無環圖中的節點表示隨機變量
，它們可以是可觀察到的變量，或隱變量、未知參數等。認為有因果關系（或非條件獨立）的變量或命題則用箭頭來連接。若兩個節點間以一個單箭頭連接在一起，表示其中一個節點是“因(parents)”，另一個是“果(children)”，兩節點就會產生一個條件概率值。
例如，假設節點E直接影響到節點H，即E→H，則用從E指向H的箭頭建立結點E到結點H的有向弧(E,H)，權值(即連接強度)用條件概率P(H|E)來表示，如下圖所示：
簡言之，把某個研究系統中涉及的隨機變量，根據是否條件獨立繪制在一個有向圖中，就形成了貝葉斯網絡。其主要用來描述隨機變量之間的條件依賴，用圈表示隨機變量(random variables)，用箭頭表示條件依賴(conditional dependencies)。
2.1 貝葉斯網絡的定義
令G = (I,E)表示一個有向無環圖(DAG)，其中I代表圖形中所有的節點的集合，而E代表有向連接線段的集合，且令X = (Xi)i ∈ I為其有向無環圖中的某一節點i所代表的隨機變量，若節點X的聯合概率可以表示成：
表示節點i之“因”，或稱
是i的parents（父母）。
如下圖所示，便是一個簡單的貝葉斯網絡：
因為a導致b，a和b導致c，所以有
