來源：B站up主Shuhuai008：板書
概率圖框架：
概率圖可分為有向（Bayes Network）和無向（Markov Netwrok），其中從（隨機變量服從離散或者連續概率分布）的分類角度可分為高斯圖（連續）和其他（離散）。
概率基本概念：
Bayes是一個概率的概念，可從基本的規則推導而來。
邊緣概率：p(xi);
條件概率：p(xj | xi);
聯合概率：p(x1,x2);
基本規則有如下兩個規則：
sum規則：p(x1)=∫p(x1,x2)dx2 【涉及聯合概率；邊緣概率】
Product規則：p(x1,x2)=p(x1)p(x2|x1)=p(x2)p(x2|x1); 【涉及條件概率；邊緣概率】
Chain規則：
p(x1,x2,x3)=p(x1)p(x2|x1)p(x3|x1,x2);
p(x1,x2,…xi)=product(i=1~p)(p(xi|x1,x2,xi-1)); （1）
Bayes規則：p(x2|x1)=p(x1,x2)/p(x1)=p(x1,x2)/∫p(x1,x2)dx2=p(x2)p(x1|x2)/∫p(x1,x2)dx2
概率模型求解問題時存在的高維困局：
用概率模型解決問題的時候，求解聯合概率是關鍵的一步，但由於求解復雜問題時，往往隨機變量均為高維數據，從chain公式的推導可以看出每一個隨機變量的計算，都與它之前的隨機變量有關，運算量非常大，那么就存在一個高維困境的問題，這個問題可以通過以下方法解決。
高維困局解決方法（Naive Bayes; Markov;條件獨立性）：
首先分析得出，由於隨機變量間的條件概率計算繁瑣，那么可以假設所有隨機變量均為相互獨立的變量，達到簡化計算的目的，這就是朴素Bayes的思想，那么p(x1,x2,…xi)=product(i=1~p)(p(xi));。但是這個假設假設得太“過”了，計算出的結果與實際相差甚遠，那么就需要想出折中的辦法，由此引出了Markov假設（這里只介紹一階Markov假設）：xj⊥xi+1 | xi，j<I，在當前狀態xi可以被觀測的情況下，過去狀態xj與未來狀態xi+1條件獨立。【一階Markov假設：因為隱狀態是一階的所以叫一階Markov假設？】
markov性質示意圖（一階馬氏鏈）
但是Markov假設還是太理想了，所以將其進行推廣，得到了條件獨立性的假設。在條件獨立性中，假設xi分別與一定數量的其他變量相關（需要計算條件概率），而與剩下的變量相互獨立，這就引出了“條件獨立性”的概念。條件獨立性可以用符號表示，a⊥b|c：表示已知c的情況下，a和b相互獨立；或者說在c可以被觀測的情況下，a和b相互獨立。條件獨立性是采用chain規則求解聯合概率的一種簡化手段，為了解決高維困境，較少計算時間提出的。
（2）
引入條件獨立性求解聯合概率的公式【xpa是“圖”中xi父節點的集合】（也可稱為聯合概率的因子分解形式）
既然條件獨立性提出了，那么概率的定義、相關規則、求解手段都具備了。那么現在來說說“概率圖”中的“圖”。
概率圖求解聯合概率：
1、解決問題步驟：分析問題=>得出各個狀態變量的拓撲排序（父節點/子節點）=>畫出概率圖=>列出聯合概率式子
2、概率圖圖標、符號解釋：
其中，空心圓圈表示狀態變量，實心圓圈表示可以被觀測到的變量。【由於變量是否可被觀測對條件獨立性有影響，所以概率“圖”中有這樣的區分。】，箭頭表示狀態變量間的關系，在有向圖中，箭頭表示拓撲關系：p(a);p(b|a)：a是父節點，b是子節點，箭頭從父結點指向子節點。
下面介紹怎么用圖表示概率、表示條件獨立性（由於圖是輔助表達的一種手段，所以從圖中是一定能比較簡便的得到某些信息的，使某些信息更加直觀，這也是引入圖的目的。在概率圖中這個“直觀的信息”就是“條件獨立性”）。
能夠直接用概率圖的方法得到聯合概率的合理性可從下面①例子解釋，①②③分別為Bayes網絡的小模塊及其條件獨立性判斷規律（該規律根據邏輯推理總結得到）。
①(tail to tail): b⊥c | a；
若a沒被觀測，則b與c連通，條件不獨立；
若a被觀測，則b與c被阻塞，條件獨立。
【圖中陰影表示狀態變量被觀測】
圖求解規則合理性檢驗：
【【
：通過驗證（1）式和（2）式得出的結果一致，驗證概率圖求解聯合概率的方式可行性。
=>
（1）: p(a,b,c) = p(a)p(b|a)p(c|a,b)
（2）: p(a,b,c) = p(a)p(b|a)p(c|a)
=> 所以要驗證 p(c|a,b)=p(c|a)
=> 兩邊同乘 p(b|a)得
=> p(c|a,b)p(b|a)=p(c|a)p(b|a) 【左邊將a遮掉 則較好理解，可看成 p(c|b)p(b)=>p(c,b)】
=> p(c,b|a)=p(c|a)p(b|a)
得證： b⊥c | a
】】
②(tail to head): a⊥c | b
若b沒被觀測，則a與c連通，條件不獨立；
若b被觀測，則a與c阻塞，條件獨立； 【<=> p(a,c|b)=p(a|b)p(c|b)】】
【【
圖求解規則合理性檢驗：
=>
（1）: p(a,b,c) = p(a)p(b|a)p(c|a,b)
（2）: p(a,b,c) = p(a)p(b|a)p(c|b)
=> 所以要驗證 p(c|a,b)=p(c|b)
=> 兩邊同乘 p(a|b)得
=> p(c|a,b)p(a|b)=p(c|b)p(a|b) 【左邊將a遮掉 則較好理解，可看成 p(c|b)p(b)=>p(c,b)】
=> p(c,a|b)=p(c|abp(a|b)
得證： b⊥c | a
】】
③(head to head): a⊥b
若c沒被觀測，則a與b阻塞，條件獨立；【a⊥b】
若c被觀測，則a與b連通，條件不獨立；
【若d被觀測，則a與b連通，條件不獨立；】
【【
圖求解規則合理性檢驗：
=>
（1）: p(a,b,c) = p(a)p(b|a)p(c|a,b)
（2）: p(a,b,c) = p(a)p(b)p(c|a,b)
=> 所以要驗證 p(b|a)=p(b)
=> 兩邊同乘 p(a)得
=> p(b|a)p(a)=p(b)p(a) 【左邊將a遮掉 則較好理解，可看成 p(c|b)p(b)=>p(c,b)】
=> p(a,b)=p(b)p(a)
得證： a⊥b
】】
問題：
一階Markov假設的一階體現在哪兒？狀態變量為一階？變量一階體現在？
混合模型的混合體現在哪兒？體現在有可觀測變量和隱變量么？
完備數據是什么？非隱變量模型？
Bayes 用途？用於分類？
什么是概率圖的連通，指的是狀態變量的概率之間會相互影響？
參考資料：https://www.bilibili.com/video/BV1BW41117xo?p=1 ，作者：shuhuai008