(學習這部分內容約需要1.9小時)
摘要
在貝葉斯框架中, 我們將統計模型的參數視為隨機變量. 模型由變量值的先驗分布以及決定參數如何影響觀測數據的證據模型來指定. 當我們對觀測數據進行條件化時, 我們得到參數的后驗分布. 術語"貝葉斯參數估計"會讓我們誤以為對參數進行了估計, 實際上我們通常可以完全跳過參數估計步驟. 我們把參數積分掉, 並直接進行預測.
預備內容
弄清楚這個概念需要一些預備知識:
- 貝葉斯規則(Bayes' rule): 貝葉斯參數估計中重要的概念
- 多元分布(multivariate distributions): 貝葉斯參數估計中, 為了進行預測, 我們需要把參數積分掉
- 條件分布(conditional distributions): 在貝葉斯參數估計中, 我們需要用參數的條件分布進行推理
- 期望和方差(expectation and variance)(可參考任意概率論書籍): 對於預測分布, 我們常常使用其期望
- 貝塔分布(beta distribution): beta-Bernoulli分布是貝葉斯參數估計中的一個有啟發性的例子.
學習目標
- 知道"先驗(prior)"和"似然函數(likelihood function)"是什么意思
- 可以使用貝葉斯公式(Bayes' Rule)計算后驗分布
- 知道后驗預測分布是什么, 對於簡單的例子可以解析地計算后延預測分布(比如beta-Bernoulli模型)
- 什么是共軛先驗(conjugate prior)? 為什么共軛先驗有用?
- 為什么當使用共軛先驗時, 后驗分布可以根據pseudocounts給出?
- 什么是最大后驗(maximum a-posteriori, MAP)近似? 給出一個MAP參數和后延預測分布不同的例子.
核心資源
(閱讀/觀看以下資源之一)
免費
-
貝葉斯推理和機器學習(Bayesian Reasoning and Machine Learning)
簡介: 用於研究生機器學習課程的教科書
資源: Section 9.1, "Learning as inference," pgs. 189-193
[書本網站]
作者: David Barber -
Coursera: 概率圖模型(Probabilistic Graphical Models, 2013)
簡介: 一門概率圖模型的在線課程- 課程 "Bayesian estimation"
- 課程 "Bayesian prediction"
[課程網站]
作者: Daphne Koller
其他依賴關系: - 最大似然
其他注記: - 如果您對貝葉斯網絡(Bayes nets)不熟悉, 別擔心: 這些課的大部分內容都不依賴於貝葉斯網絡
- 點擊"Preview"看視頻
-
計算認知小抄(Computational Cognition Cheat Sheets, 2013)
簡介: 一組為認知科學家寫的筆記 -
CSC321的課程筆記, 神經網絡導論(Intro to Neural Nets, 2015)
簡介: 多倫多大學本科神經網絡課程講義
資源: Lecture "Learning probabilistic models," pages 7-17
講義網站
作者: Roger Grosse, Nitish Srivastava -
CMU 10-701, 機器學習(2011)
簡介: CMU機器學習課程演講視頻
資源: 講座"概率和估計"(Lecture "Probability and estimation")
[網站]
作者: Tom Mitchell
收費
- 概率圖模型:原理和技術(Probabilistic Graphical Models: Principles and Techniques)
簡介: 一本非常全面的關於概率AI的研究生課程的教科書
位置: Section 17.3, pgs. 733-741.
[網站]
作者: Daphne Koller, Nir Friedman - Machine Learning: a Probabilistic Perspective(MLAPP)
簡介: 一本非常全面的研究生機器學習教材
位置: Sections 3.1-3.3, pgs. 65-78
[網站]
作者: Kevin P. Murphy
增補資源
(以下為選修內容, 但你可能會發現它們很有用)
免費
- Coursera: Neural Networks for Machine Learning (2012)
簡介: Geoff Hinton的在線課程, 他發明了許多神經網絡和深度學習背后的核心理念
位置: "Introduction to the full Bayesian approach"
[網站]
作者: Geoffrey E. Hinton
付費
- 概率統計和數據分析(Mathematical Statistics and Data Analysis)
簡介: 本科生統計教材
位置: Section 8.6, "The Bayesian approach to parameter estimation," up through 8.6.1, "Further remarks on priors," pages 285-296
[網站]
作者: John A. Rice - 貝葉斯數據分析(Bayesian Data Analysis)
簡介: 貝葉斯統計教科書, 着重於實際問題
位置: Sections 2.1-2.3, pgs. 33-39
[網站]
作者: Andrew Gelman,John B. Carlin,Hal S. Stern,Donald B. Rubin - Pattern Recognition and Machine Learning(PRML)
研究生機器學習課程的教科書, 聚焦於貝葉斯方法
位置: Section 2.1, pgs. 68-74
[網站]
作者: Christopher M. BIshop