機器學習 —— 概率圖模型（CPD）
CPD是conditional probability distribution的縮寫，翻譯成中文叫做 條件概率分布。在概率圖中，條件概率分布是一個非常重要的概念。因為概率圖研究的是隨機變量之間的練習，練習就是條件，條件就要求條件概率。 對於簡單的條件概率而言，我們可以用一個條件概率表 ...
原文：機器學習 —— 概率圖模型（完結）
經過了一段時間的學習，我終於完成了PGM的所有視頻課程，但是編程作業並沒有結束。最大的體驗是手里有了武器和手段，碰見問題不再束手無策或者需要根據自己的直覺經驗來設計解決方法。其實按照目前的科技樹而言，三種手段在手基本上就不需要擔心任何綜合型問題了： 優化理論及方法 深度學習理論 概率圖模型。有這三種方法則可以對大部分學術問題進行建模，無論什么層面或是類別的問題，總能往這三種框架里塞。簡直水文章之 ...
2016-03-31 21:09 6 1152 推薦指數：
相關推薦
機器學習 —— 概率圖模型（學習：圖結構）
概率圖模型相比於其他學習算法的優勢在於可以利用圖結構來將已知信息帶入到知識網絡中。那么在使用概率圖模型之前，往往要求圖結構是已知的。而現實中或許我們並沒有足夠的先驗知識，但是有大量的樣本。如何通過樣本對概率圖的G進行推測就是這種學習算法要解決的問題。確實，在有大量樣本的情況下 ...
機器學習 —— 概率圖模型（學習：對數線性模型）
對數線性模型是無向圖中經常使用的一種模型。其利用特征函數以及參數的方式對勢函數進行定義，可獲得較好的效果。在之前有向圖的學習中，我們發現可以利用d-seperet，充分統計，狄利克雷函數等方式來很優雅的獲得參數估計的解析解。但是在無向圖中，這些優越的條件都不復存在。而無向圖在現實條件下的使用 ...
機器學習 —— 概率圖模型（學習：最大似然估計）
最大似然估計的目標是獲取模型中的參數。前提是模型已經是半成品，萬事俱備只欠參數。此外，對樣本要求獨立同分布（參數就一套） 上圖中x ~ B(theta). 樣本數為M. 最大似然估計用似然函數作為優化目標，參數估計的過程為尋優過程。一般情況下認為，如果該參數使得數據發生的可能性 ...
機器學習 —— 概率圖模型（學習：CRF與MRF）
在概率圖模型中，有一類很重要的模型稱為條件隨機場。這種模型廣泛的應用於標簽—樣本（特征）對應問題。與MRF不同，CRF計算的是“條件概率”。故其表達式與MRF在分母上是不一樣的。 如圖所示，CRF只對 label 進行求和，而不對dataset求和。 1、CRF ...
機器學習 —— 概率圖模型（推理：決策）
Koller 教授把決策作為一種單獨的模塊進行講解，但我認為，決策和推理本質上是一樣的，都是在假設已知CPD或者勢函數的情況下對模型給出結論。 1、決策==逐利 決策的基本思想很intuitive，並且非常有用。在賭博行為中，最后獲得的錢與硬幣的正反，賭注的大小有關。硬幣的正反顯然是 ...
機器學習 —— 概率圖模型（Homework: Exact Inference）
在前三周的作業中，我構造了概率圖模型並調用第三方的求解器對器進行了求解，最終獲得了每個隨機變量的分布（有向圖），最大后驗分布（雙向圖）。本周作業的主要內容就是自行編寫概率圖模型的求解器。實際上，從根本上來說求解器並不是必要的。其作用只是求取邊緣分布或者MAP，在得到聯合CPD后，尋找聯合CPD ...
機器學習 —— 概率圖模型（推理：采樣算法）
基於采樣的推理算法利用的思想是 概率 = 大樣本下頻率。故在獲得圖模型以及CPD的基礎上，通過設計采樣算法模擬事件發生過程，即可獲得一系列事件（聯合概率質量函數）的頻率，從而達到inference的目的。 1、采樣的做法 使用采樣算法對概率圖模型進行隨機變量推理的前提是已經獲得CPD ...