我们在这篇文章里有尝试讨论三个重点。第一，讨论的 MCMC。第二，学习 MCMC 的实现过程，学习 MCMC 算法如何收敛，收敛到何处。第三，将会介绍为什么从后验分布中能返回成千上万的样本，也许读者和我一样，刚开始学习时，面对这种采样过程看起来有点奇怪。 1. 贝叶斯景象图 当构造一个 ...

目录 马尔科夫链蒙特卡洛采样（MCMC）入门 之一 马尔科夫链蒙特卡洛采样（MCMC）入门 之二 1、从随机变量分布中采样 研究人员提出的概率模型对于分析方法来说往往过于复杂。越来越多的研究人员依赖数学计算的方法处理复杂的概率模型，研究者通过使用计算的方法，摆脱一些分析技术所 ...

目录 马尔科夫链蒙特卡洛采样（MCMC）入门 之一 马尔科夫链蒙特卡洛采样（MCMC）入门 之二 将概率模型应用到数据中，常需要复杂的推理过程，需要用到复杂的、高维的分布。马尔科夫链蒙特卡洛理论（MCMC）是一种通用的计算方法，通过迭代地对生成的样本进行求和代替复杂的数学推理。比较棘手 ...

从随机过程到马尔科夫链蒙特卡洛方法 1. Introduction 第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 里面讲解到的 RBM 用到了 Gibbs sampling，当时 ...

一、引入 拒绝采样，重要性采样的效率在高维空间很低，随维度增长其难度也指数型增长，主要适用于一维的采样。对于二维以上可以用马氏链。马尔可夫链蒙特卡洛采样方法就是在高维空间采样的方法。 马尔可夫链就是满足马尔可夫假设的一组状态序列$\left \{ x_{t ...

1. Introduction 第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 里面讲解到的 R ...

11. 马尔科夫链 \(X_0,X_1,...,X_n\)，\(n\)表示时间，如果\(X_0, ...X_n\)都是独立的，那么这个假设限制性太大，不能对现实世界建模。而如果\(X_0, ...X_n\)彼此可以任意交互影响，那么模型太难计算。马尔科夫链是单步影响（one-step ...

1.什么是HMM？ 隐马尔科夫链（HMM）是一个五元组： 隐状态集合 Q={q1,q2,...,qN},V={v1,v2,...vM}">; 观测状态集合； 状态概率转移矩阵； 观察状态概率矩阵； 初始状态概率分布； 2.HMM有两个假设： 齐次马尔可夫链 ...