马尔可夫毯（Markov Blanket） 最近接触到马尔可夫毯（MarkovBlanket）这个概念，发现网上资料不多，通俗易懂的解释甚少，查了一些资料后，决定写一个总结。 提到马尔可夫毯，就会有一堆从名字上看很相近的概念，比如马尔可夫链（Markov ...

上面两篇博客，解释了概率有向图（贝叶斯网），和用其解释条件独立。本篇将研究马尔可夫随机场（Markov random fields)，也叫无向图模型，或称为马尔科夫网（Markov network) 下面附上，上述实验的matlab代码。没有插入matlab选项 ...

一个 Markov 链是概率空间上的一个以 \(E\) (至多可数) 为状态空间的随机序列 \(\{X_n: n\ge 0\}\), 它满足 Markov 性和时齐性 (只考虑时齐的情形). 在 Markov 链的情形下, Markov 性与强 Markov 性等价. 记转移概率 \(p ...

一、前言 在第一章强化学习简介中，我们提到强化学习过程可以看做一系列的state、reward、action的组合。本章我们将要介绍马尔科夫决策过程（Markov Decision Processes)用于后续的强化学习研究中。 二、马尔科夫过程（Markov Processes） 2.1 ...

1. 马尔可夫网络、马尔可夫模型、马尔可夫过程、贝叶斯网络的区别 　　以下共分六点说明这些概念，分成条目只是方便边阅读边思考，这6点是依次递进的，不要跳跃着看。 将随机变量作为结点，若两个随机变量相关或者不独立，则将二者连接一条边；若给定若干随机变量，则形成一个有向图 ...

本文简单整理了以下内容： （一）贝叶斯网（Bayesian networks，有向图模型）简单回顾 （二）隐马尔可夫模型（Hidden Markov model，HMM） 写着写着还是写成了很规整的样子。以后可能会修改。 （一）贝叶斯 ...

马尔可夫不等式把概率关联到数学期望，给出了随机变量的分布函数一个宽泛但仍有用的界。 令 $X$ 为非负随机变量，且假设 $E(X)$ 存在，则对任意的 $a > 0$ 有 $$P\left \{ X \geq a \right \} \leq \frac{E(X)}{a}$$ 马尔 ...

1、参考资料： 博客园 - 刘建平随笔：https://www.cnblogs.com/pinard/p/6945257.html 哔站up主 - 白手起家的百万富翁：https://www.bi ...