深度学习（八）：概率生成模型
一、引入 最开始知道生成模型和判别模型，是在李航的统计学习方法里，当时的理解是：生成模型，就是同时考虑了X和Y的随机性，也就是说二者都是随机变量；判别模型，就是只考虑了Y的随机性，而X并不是个随机变量，即使X存在于条件中，但是并没有p(x)这种说法。当时同时也知道了，朴素贝叶斯和隐马尔可夫都是 ...
原文：深度学习（一）：概率图模型引入
一 简介 概率图模型 Probabilistic Graphical Model ,PGM 是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。图的每个节点 node 都表示一个随机变量，而图的边 edge 则被用于编码这些随机变量之间的关系，通常是条件概率。 对于一个K维随机变量 X left X ,X ,...,X K , right T ， ...
2020-03-20 18:14 0 733 推荐指数：
相关推荐
概率图模型（学习笔记）
概率图模型(PGM)：有向图模型，无向图模型和混合概率图模型。 有向概率图模型：隐马尔科夫模型，贝叶斯网络和动态贝叶斯网络。 无向概率图模型：马尔科夫随机场 MRF，——>条件随机场 CRF。 混合概率图模型：链图。 Markov-Gibbs的等价性 ...
深度学习（二）：图模型的学习
一、前言 图模型的学习主要是学习网络结构，即寻找最优的网络结构；以及网络参数估计，即已知网络结构，估计每个条件概率分布的参数。这里主要讲网络参数的估计。然后又可以分为不含隐变量的参数估计，和含隐变量的参数估计。隐变量相对于可观测变量而言，就是我们无法直接观测到的变量；在特征空间 ...
机器学习 —— 概率图模型（完结）
理论；3、概率图模型。有这三种方法则可以对大部分学术问题进行建模，无论什么层面或是类别的问题，总能往这三种框架里塞 ...
机器学习 —— 概率图模型（CPD）
CPD是conditional probability distribution的缩写，翻译成中文叫做 条件概率分布。在概率图中，条件概率分布是一个非常重要的概念。因为概率图研究的是随机变量之间的练习，练习就是条件，条件就要求条件概率。 对于简单的条件概率而言，我们可以用一个条件概率表 ...
机器学习 —— 概率图模型（学习：对数线性模型）
对数线性模型是无向图中经常使用的一种模型。其利用特征函数以及参数的方式对势函数进行定义，可获得较好的效果。在之前有向图的学习中，我们发现可以利用d-seperet，充分统计，狄利克雷函数等方式来很优雅的获得参数估计的解析解。但是在无向图中，这些优越的条件都不复存在。而无向图在现实条件下的使用 ...
机器学习 —— 概率图模型（学习：图结构）
概率图模型相比于其他学习算法的优势在于可以利用图结构来将已知信息带入到知识网络中。那么在使用概率图模型之前，往往要求图结构是已知的。而现实中或许我们并没有足够的先验知识，但是有大量的样本。如何通过样本对概率图的G进行推测就是这种学习算法要解决的问题。确实，在有大量样本的情况下 ...
机器学习 —— 概率图模型（学习：CRF与MRF）
在概率图模型中，有一类很重要的模型称为条件随机场。这种模型广泛的应用于标签—样本（特征）对应问题。与MRF不同，CRF计算的是“条件概率”。故其表达式与MRF在分母上是不一样的。 如图所示，CRF只对 label 进行求和，而不对dataset求和。 1、CRF ...