概率圖模型（學習筆記）

概率圖模型(PGM)：有向圖模型，無向圖模型和混合概率圖模型。

• 有向概率圖模型：隱馬爾科夫模型，貝葉斯網絡和動態貝葉斯網絡。
• 無向概率圖模型：馬爾科夫隨機場 MRF，——>條件隨機場 CRF。
• 混合概率圖模型：鏈圖。

Markov-Gibbs的等價性

　　Harmmersley--Clifford定理： 已知網格位置集合S具有鄰域系統N，如果S上的隨機場X是一個GRF(Gibbs random field)，那么X也是一個MRF。

　　提供了隨機場聯合概率的一種表達方式。

馬爾科夫隨機場 VS 條件隨機場

　　條件隨機場模型是Lafferty於2001年，在最大熵模型和隱馬爾科夫模型的基礎上，提出的一種判別式概率無向圖學習模型，是一種用於標注和切分有序數據的條件概率模型。

　　（1）產生式模型和判別式模型（Generative model vs. Discriminative model）　　

　　　　o和s分別代表觀察序列和標記序列

　　　　產生式模型：構建o和s的聯合分布p(s,o)，因可以根據聯合概率來生成樣本，如HMM，BNs，MRF。

　　　　判別式模型：構建o和s的條件分布p(s|o)，因為沒有s的知識，無法生成樣本，只能判斷分類，如SVM，CRF，MEMM 。

　　　　產生式模型：無窮樣本 ==》 概率密度模型 = 產生模型 ==》預測

　　　　判別式模型：有限樣本 ==》 判別函數 = 預測模型 ==》預測

　　二者關系：由生成模型可以得到判別模型，但由判別模型得不到生成模型。

閱讀參考

　　[1]https://www.zhihu.com/question/41872134

　　[2]http://blog.csdn.net/jiuerbujie/article/details/45696357

　　[3]https://www.quora.com/What-is-the-difference-between-Markov-Random-Fields-MRFs-and-Conditional-Random-Fields-CRFs-When-should-I-use-one-over-the-other

---

（1）在模式識別中，決策問題多為分類、判別問題；推斷問題多為參數估計和假設檢驗問題。推斷有樣本估計總體，知道總體才好進行分類。

（2）在概率圖模型中，學習和推理是兩個主要問題。學習是從數據中學習模型的結構和參數，推理的目的是對給定的模型計算邊緣分布和條件分布。

 參考：PGM：概率圖模型Graphical Model  沈紅傑, 基於單目視覺的場景理解算法研究[D]

---

圖割方法

　　將能量最小問題轉化為圖割問題。求解圖割的算法也就是解最小割的算法 :

　　1) Goldberg-Tarjan

　　2) Ford-Fulkerson

　　Ford–Fulkerson方法（Ford-Fulkerson method）或 Ford–Fulkerson算法（FFA）是一類計算網絡流的最大流的貪心算法。 因為該方法尋找路徑的方式並不是完全確定的，而且它也有幾種實現方式^[1]與不同的時間復雜度^[2]，所以它被稱為“方法”而不是“算法”。它在1956年由 L.R.Ford,Jr. 及 D.R.Fulkerson^[3] 發表。“Ford–Fulkerson”這個名詞通常也用於Edmonds–Karp算法，這是一個特殊的Ford–Fulkerson算法實現。算法的思想如下：只要有一條從源（開始節點）到匯（結束節點）的路徑，在所有的邊上都有可用容量，就沿着這條路徑發送一個流。 然后再找到另一條路徑，一直到網絡中不存在這種路徑為止。一條有可用容量的路徑被稱為一個增廣路。

　　3) 上訴兩種方法的改進算法

參考文獻

　　1) Boykov Y, Veksler O, Zabih R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2001, 23(11):1222-1239.(如何用圖建模,定義,證明,性質)

　　2) Boykov Y, Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2004, 26(9):1124-37.(改進求解圖割的算法,提供算法包)