机器学习 —— 概率图模型（Homework: CRF Learning）
概率图模型的作业越往后变得越来越有趣了。当然，难度也是指数级别的上涨啊，以至于我用了两个周末才完成秋名山神秘车牌的寻找，啊不，CRF模型的训练。 条件随机场是一种强大的PGM，其可以对各种特征进行建模，同时可以使用随机梯度下降算法进行训练，训练的结果就是PGM中那些定义变量交互方式的参数 ...
原文：机器学习 —— 概率图模型（Homework: Exact Inference）
在前三周的作业中，我构造了概率图模型并调用第三方的求解器对器进行了求解，最终获得了每个随机变量的分布 有向图 ，最大后验分布 双向图 。本周作业的主要内容就是自行编写概率图模型的求解器。实际上，从根本上来说求解器并不是必要的。其作用只是求取边缘分布或者MAP，在得到联合CPD后，寻找联合CPD的最大值即可获得MAP，对每个变量进行边缘分布求取即可获得边缘分布。但是，这种简单粗暴的方法效率极其低下 ...
2016-04-15 20:21 0 1751 推荐指数：
相关推荐
机器学习 —— 概率图模型（CPD）
CPD是conditional probability distribution的缩写，翻译成中文叫做 条件概率分布。在概率图中，条件概率分布是一个非常重要的概念。因为概率图研究的是随机变量之间的练习，练习就是条件，条件就要求条件概率。 对于简单的条件概率而言，我们可以用一个条件概率表 ...
机器学习 —— 概率图模型（完结）
理论；3、概率图模型。有这三种方法则可以对大部分学术问题进行建模，无论什么层面或是类别的问题，总能往这三种框架里塞 ...
机器学习 —— 概率图模型（学习：图结构）
概率图模型相比于其他学习算法的优势在于可以利用图结构来将已知信息带入到知识网络中。那么在使用概率图模型之前，往往要求图结构是已知的。而现实中或许我们并没有足够的先验知识，但是有大量的样本。如何通过样本对概率图的G进行推测就是这种学习算法要解决的问题。确实，在有大量样本的情况下 ...
机器学习 —— 概率图模型（学习：对数线性模型）
对数线性模型是无向图中经常使用的一种模型。其利用特征函数以及参数的方式对势函数进行定义，可获得较好的效果。在之前有向图的学习中，我们发现可以利用d-seperet，充分统计，狄利克雷函数等方式来很优雅的获得参数估计的解析解。但是在无向图中，这些优越的条件都不复存在。而无向图在现实条件下的使用 ...
机器学习 —— 概率图模型（学习：最大似然估计）
最大似然估计的目标是获取模型中的参数。前提是模型已经是半成品，万事俱备只欠参数。此外，对样本要求独立同分布（参数就一套） 上图中x ~ B(theta). 样本数为M. 最大似然估计用似然函数作为优化目标，参数估计的过程为寻优过程。一般情况下认为，如果该参数使得数据发生的可能性 ...
机器学习 —— 概率图模型（学习：CRF与MRF）
在概率图模型中，有一类很重要的模型称为条件随机场。这种模型广泛的应用于标签—样本（特征）对应问题。与MRF不同，CRF计算的是“条件概率”。故其表达式与MRF在分母上是不一样的。 如图所示，CRF只对 label 进行求和，而不对dataset求和。 1、CRF ...
机器学习 —— 概率图模型（推理：决策）
Koller 教授把决策作为一种单独的模块进行讲解，但我认为，决策和推理本质上是一样的，都是在假设已知CPD或者势函数的情况下对模型给出结论。 1、决策==逐利 决策的基本思想很intuitive，并且非常有用。在赌博行为中，最后获得的钱与硬币的正反，赌注的大小有关。硬币的正反显然是 ...