机器学习 —— 概率图模型（贝叶斯网络）
概率图模型（PGM）是一种对现实情况进行描述的模型。其核心是条件概率，本质上是利用先验知识，确立一个随机变量之间的关联约束关系，最终达成方便求取条件概率的目的。 1.从现象出发---这个世界都是 ...
花费 49 ms
机器学习 —— 概率图模型（马尔科夫与条件随机场）
再一次遇到了Markov模型与条件随机场的问题，学而时习之，又有了新的体会。所以我决定从头开始再重新整理一次马尔科夫模型与条件随机场。 马尔科夫模型是一种无向概率图模型，其与马尔科夫链并不是 ...
机器学习 —— 极大似然估计与条件概率
今天在研究点云分割的时候终于走完了所有的传统路子，走到了基于机器学习的分割与传统自底向上分割的分界点（CRF）算法。好吧，MIT的老教授说的对，其实你很难真正绕过某个问题，数学如是，人生也如是。 ...
机器学习 —— 概率图模型（学习：图结构）
概率图模型相比于其他学习算法的优势在于可以利用图结构来将已知信息带入到知识网络中。那么在使用概率图模型之前，往往要求图结构是已知的。而现实中或许我们并没有足够的先验知识，但是有大量的样本。如何通过 ...
机器学习 —— 概率图模型（推理：采样算法）
基于采样的推理算法利用的思想是 概率 = 大样本下频率。故在获得图模型以及CPD的基础上，通过设计采样算法模拟事件发生过程，即可获得一系列事件（联合概率质量函数）的频率，从而达到inferenc ...
机器学习 —— 概率图模型（学习：贝叶斯估计）
之前谈到学习就是利用数据集对参数进行最大似然估计。本质上是获取一组有效的参数。然而如果考虑一个这样的问题：一枚硬币扔10次有7次朝上；扔1000次有700次朝上。显然对于二者而言，对参数的估计都是 ...
机器学习 —— 概率图模型（学习：CRF与MRF）
在概率图模型中，有一类很重要的模型称为条件随机场。这种模型广泛的应用于标签—样本（特征）对应问题。与MRF不同，CRF计算的是“条件概率”。故其表达式与MRF在分母上是不一样的。 如图所 ...
机器学习 —— 概率图模型（推理：团树算法）
在之前的消息传递算法中，谈到了聚类图模型的一些性质。其中就有消息不能形成闭环，否则会导致“假消息传到最后我自己都信了”。为了解决这种问题，引入了一种称为团树（clique tree)的数据结构，树 ...
机器学习 —— 概率图模型（推理：MAP）
MAP 是最大后验概率的缩写。后验概率指的是当有一定观测结果的情况下，对其他随机变量进行推理。假设随机变量的集合为X ，观察到的变量为 e， W = X-e , AP = P(W|e). 后验概率 ...
机器学习 —— log-linear 模型
昨天刚刚解决了 logistic regression 之后今天又来了个有趣的家伙。 logistic regression 很强大，但是也有它的弱点。它最大的弱点就是只能告诉你是或者不是，而无法 ...