应用随机过程04：马尔可夫链的平稳分布
目录 第四讲 马尔可夫链的平稳分布 一、平稳分布 Part 1：平稳分布 Part 2：不可约马尔可夫链的性质 Part 3：极限分布 二、状态空间的分解 Part ...
原文：应用随机过程02：马尔可夫链及其概率分布
目录 第二讲 马尔可夫链及其概率分布 一 马尔可夫链的定义 Part ：条件概率 Part ：马尔可夫链的定义 二 转移概率和转移矩阵 Part ：转移概率的定义 Part ：时齐的马尔可夫链 三 有限维分布和 C K 方程 Part ：C K 方程 Part ：有限维分布 第二讲 马尔可夫链及其概率分布 一 马尔可夫链的定义 Part ：条件概率 这一章开始之前，我们先对条件概率做一个回顾，这 ...
2022-02-17 21:40 0 2065 推荐指数：
相关推荐
应用随机过程03：马尔可夫链的状态
目录 第三讲 马尔可夫链的状态 一、常返和暂留 Part 1：常返和暂留的定义 Part 2：常返的判别条件 I Part 3：常返的判别条件 II 二、状态之间的关系 ...
马尔可夫链的平稳分布
假设说，抽烟和不抽烟的人群之间有一定的概率互相转化，且相互转化的概率如下图所示 即： 抽烟的人第二天仍然抽烟的概率是0.8 不抽烟的人第二天开始抽烟的概率是0.1 不抽烟的人第二天仍然不抽烟的概率是0.9 抽烟的人第二天开始不抽烟的概率是0.2 我们用程序 ...
马尔可夫链和转移概率矩阵
什么是转移概率矩阵(Transition Probability Matrix) 转移概率矩阵：矩阵各元素都是非负的，并且各行元素之和等于1，各元素用概率表示，在一定条件下是互相转移的，故称为转移概率矩阵。如用于市场决策时，矩阵中的元素是市场或顾客的保留、获得或失去的概率。P(k ...
马尔可夫、马尔可夫链、马尔可夫过程、马尔可夫决策过程
，而不需要考虑之前的状态。 2. 马尔科夫过程 马尔科夫过程是随机过程的一种，随机过程是对 ...
马尔可夫过程（以马尔科夫链Markov为例）
马尔可夫过程（以马尔科夫链Markov为例） 马尔可夫过程 马尔可夫过程的大概意思就是未来只与现在有关，与过去无关。 简单理解就是渣男只在乎下一刻会不会爱你只取决于这一时刻对你的新鲜感，而与你之前对这段感情的付出毫无关系。 设有一个随机过程X（t），如果对于下一个任意的时间序列 ...
随机变量的概率分布
在概率论中，我们引入了事件这一概念，它表示试验的结果。这个结果有时是一个数值，如投掷一枚骰子，结果可能是1、2、3……；有时是用文字描述的，如检验一个产品，结果可能是合格、不合格。 为了方便数学上的处理，我们需要将随机事件进行数量化，如将合格指定为0，不合格指定为1。经过这样的处理后，随机事件 ...
随机过程——马尔可夫决策过程
马尔可夫决策过程是基于马尔可夫过程理论的随机动态系统的最优决策过程。马尔可夫决策过程是序贯决策的主要研究领域。它是马尔可夫过程与确定性的动态规划相结合的产物，故又称马尔可夫型随机动态规划，属于运筹学中数学规划的一个分支。 序贯决策 有些决策问题，决策者只需要作一次决策即可，这类决策方法 ...