深度學習（八）：概率生成模型
一、引入 最開始知道生成模型和判別模型，是在李航的統計學習方法里，當時的理解是：生成模型，就是同時考慮了X和Y的隨機性，也就是說二者都是隨機變量；判別模型，就是只考慮了Y的隨機性，而X並不是個隨機變量，即使X存在於條件中，但是並沒有p(x)這種說法。當時同時也知道了，朴素貝葉斯和隱馬爾可夫都是 ...
原文：深度學習（一）：概率圖模型引入
一 簡介 概率圖模型 Probabilistic Graphical Model ,PGM 是用圖來表示變量概率依賴關系的理論，結合概率論與圖論的知識，利用圖來表示與模型有關的變量的聯合概率分布。圖的每個節點 node 都表示一個隨機變量，而圖的邊 edge 則被用於編碼這些隨機變量之間的關系，通常是條件概率。 對於一個K維隨機變量 X left X ,X ,...,X K , right T ， ...
2020-03-20 18:14 0 733 推薦指數：
相關推薦
概率圖模型（學習筆記）
概率圖模型(PGM)：有向圖模型，無向圖模型和混合概率圖模型。 有向概率圖模型：隱馬爾科夫模型，貝葉斯網絡和動態貝葉斯網絡。 無向概率圖模型：馬爾科夫隨機場 MRF，——>條件隨機場 CRF。 混合概率圖模型：鏈圖。 Markov-Gibbs的等價性 ...
深度學習（二）：圖模型的學習
一、前言 圖模型的學習主要是學習網絡結構，即尋找最優的網絡結構；以及網絡參數估計，即已知網絡結構，估計每個條件概率分布的參數。這里主要講網絡參數的估計。然后又可以分為不含隱變量的參數估計，和含隱變量的參數估計。隱變量相對於可觀測變量而言，就是我們無法直接觀測到的變量；在特征空間 ...
機器學習 —— 概率圖模型（完結）
理論；3、概率圖模型。有這三種方法則可以對大部分學術問題進行建模，無論什么層面或是類別的問題，總能往這三種框架里塞 ...
機器學習 —— 概率圖模型（CPD）
CPD是conditional probability distribution的縮寫，翻譯成中文叫做 條件概率分布。在概率圖中，條件概率分布是一個非常重要的概念。因為概率圖研究的是隨機變量之間的練習，練習就是條件，條件就要求條件概率。 對於簡單的條件概率而言，我們可以用一個條件概率表 ...
機器學習 —— 概率圖模型（學習：對數線性模型）
對數線性模型是無向圖中經常使用的一種模型。其利用特征函數以及參數的方式對勢函數進行定義，可獲得較好的效果。在之前有向圖的學習中，我們發現可以利用d-seperet，充分統計，狄利克雷函數等方式來很優雅的獲得參數估計的解析解。但是在無向圖中，這些優越的條件都不復存在。而無向圖在現實條件下的使用 ...
機器學習 —— 概率圖模型（學習：圖結構）
概率圖模型相比於其他學習算法的優勢在於可以利用圖結構來將已知信息帶入到知識網絡中。那么在使用概率圖模型之前，往往要求圖結構是已知的。而現實中或許我們並沒有足夠的先驗知識，但是有大量的樣本。如何通過樣本對概率圖的G進行推測就是這種學習算法要解決的問題。確實，在有大量樣本的情況下 ...
機器學習 —— 概率圖模型（學習：CRF與MRF）
在概率圖模型中，有一類很重要的模型稱為條件隨機場。這種模型廣泛的應用於標簽—樣本（特征）對應問題。與MRF不同，CRF計算的是“條件概率”。故其表達式與MRF在分母上是不一樣的。 如圖所示，CRF只對 label 進行求和，而不對dataset求和。 1、CRF ...