去模拟抽烟与不抽烟人群相互转化的过程： 首先任意假定一个初始状态：抽烟与不抽烟的人群在实验开始前分别有 ...

目录 第二讲 马尔可夫链及其概率分布 一、马尔可夫链的定义 Part 1：条件概率 Part 2：马尔可夫链的定义 二、转移概率和转移矩阵 Part 1：转移概率的定义 ...

目录 第三讲 马尔可夫链的状态 一、常返和暂留 Part 1：常返和暂留的定义 Part 2：常返的判别条件 I Part 3：常返的判别条件 II 二、状态之间的关系 ...

马尔科夫链定义 马尔科夫链的定义如下 从定义中我们不难看出马氏链当前状态只与前一个状态相关。比如我们预测明天天气，只考虑今天天气状况，不考虑昨天前天的天气状况。 马尔科夫链平稳状态 举个具体的例子。社会学家把人按其经济状况分为3类：下层，中层，上层，我们用1,2,3表示这三个阶层 ...

，而不需要考虑之前的状态。 2. 马尔科夫过程 马尔科夫过程是随机过程的一种，随机过程是对 ...

马尔可夫过程（以马尔科夫链Markov为例） 马尔可夫过程 马尔可夫过程的大概意思就是未来只与现在有关，与过去无关。 简单理解就是渣男只在乎下一刻会不会爱你只取决于这一时刻对你的新鲜感，而与你之前对这段感情的付出毫无关系。 设有一个随机过程X（t），如果对于下一个任意的时间序列 ...

　　马尔可夫决策过程是基于马尔可夫过程理论的随机动态系统的最优决策过程。马尔可夫决策过程是序贯决策的主要研究领域。它是马尔可夫过程与确定性的动态规划相结合的产物，故又称马尔可夫型随机动态规划，属于运筹学中数学规划的一个分支。 序贯决策 　　有些决策问题，决策者只需要作一次决策即可，这类决策方法 ...

1. Introduction 第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 里面讲解到的 R ...