机器学习 —— 概率图模型（推理：团树算法）
在之前的消息传递算法中，谈到了聚类图模型的一些性质。其中就有消息不能形成闭环，否则会导致“假消息传到最后我自己都信了”。为了解决这种问题，引入了一种称为团树（clique tree)的数据结构，树模型没有图模型中的环，所以此模型要比图模型更健壮，更容易收敛。 1.团树模型 链模型是一种 ...
原文：机器学习 —— 概率图模型（推理：变量消除）
概率图的一个重要作用是进行推理，针对某个随机变量，告诉我们它到底有没有可能，有多大可能发生。之前在representation相关的内容中，我们更多的关心如何利用概率图减少联合分布的计算量。inference相关的章节就是要介绍如何从联合概率中获得单个随机变量的概率。 .链状变量消除 对于给定的联合分布函数P A,B,C,D,E ，如果想要知道P E ，只需要将A,B,C,D边际掉。假设P E ...
2016-01-17 20:32 0 4189 推荐指数：
相关推荐
机器学习 —— 概率图模型（推理：MAP）
MAP 是最大后验概率的缩写。后验概率指的是当有一定观测结果的情况下，对其他随机变量进行推理。假设随机变量的集合为X ，观察到的变量为 e， W = X-e , AP = P(W|e). 后验概率和联合概率是不同的两个概念。事实上，后验概率更接近推理本身的“意义”，并且被越来越多的用于诊断系统 ...
机器学习 —— 概率图模型（推理：采样算法）
基于采样的推理算法利用的思想是 概率 = 大样本下频率。故在获得图模型以及CPD的基础上，通过设计采样算法模拟事件发生过程，即可获得一系列事件（联合概率质量函数）的频率，从而达到inference的目的。 1、采样的做法 使用采样算法对概率图模型进行随机变量推理的前提是已经获得CPD ...
机器学习 —— 概率图模型（推理：决策）
Koller 教授把决策作为一种单独的模块进行讲解，但我认为，决策和推理本质上是一样的，都是在假设已知CPD或者势函数的情况下对模型给出结论。 1、决策==逐利 决策的基本思想很intuitive，并且非常有用。在赌博行为中，最后获得的钱与硬币的正反，赌注的大小有关。硬币的正反显然是 ...
机器学习 —— 概率图模型（推理：消息传递算法）
概率图模型G(V,E)由节点V和边E构成。在之前马尔科夫模型相关的博客中，我谈到马尔科夫模型的本质是当两个人交流后，其意见（两个随机变量）同意0与不同意1的概率组合。而势函数表达的是两个意见相同或者相左的程度。 我们搞的那么麻烦，最后想要得到的不就是每个意见正确与否（随机变量取不同值 ...
机器学习 —— 概率图模型（完结）
理论；3、概率图模型。有这三种方法则可以对大部分学术问题进行建模，无论什么层面或是类别的问题，总能往这三种框架里塞 ...
机器学习 —— 概率图模型（CPD）
CPD是conditional probability distribution的缩写，翻译成中文叫做 条件概率分布。在概率图中，条件概率分布是一个非常重要的概念。因为概率图研究的是随机变量之间的练习，练习就是条件，条件就要求条件概率。 对于简单的条件概率而言，我们可以用一个条件概率表 ...
机器学习 —— 概率图模型（学习：对数线性模型）
对数线性模型是无向图中经常使用的一种模型。其利用特征函数以及参数的方式对势函数进行定义，可获得较好的效果。在之前有向图的学习中，我们发现可以利用d-seperet，充分统计，狄利克雷函数等方式来很优雅的获得参数估计的解析解。但是在无向图中，这些优越的条件都不复存在。而无向图在现实条件下的使用 ...