观察集合，S表示状态集合，M表示模型 最大熵马尔科夫模型（MEMM）的缺点： 看下图，由观察状 ...

[白话解析]用水浒传为例学习最大熵马尔科夫模型 0x00 摘要 本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释最大熵马尔可夫模型。并且从名著中找了个具体应用场景来帮助大家深入这个概念。 在机器学习过程中，会遇到很多晦涩的概念，相关数学公式 ...

最大熵模型是指在满足约束条件的模型集合中选取熵最大的模型，即不确定性最大的模型。 最大熵原理 最大熵思想：当你要猜一个概率分布时，如果你对这个分布一无所知，那就猜熵最大的均匀分布，如果你对这个分布知道一些情况，那么，就猜满足这些情况的熵最大的分布。 算法推导 按照最大熵原理,我们应该 ...

最大熵模型预备知识 信息量：一个事件发生的概率越小，信息量越大，所以信息量应该为概率的减函数，对于相互独立的两个事有p(xy)=p(x)p(y)，对于这两个事件信息量应满足h(xy)=h(x)+h(y)，那么信息量应为对数函数： 对于一个随机变量可以以不同的概率发生 ...

Nianwen Xue在《Chinese Word Segmentation as Character Tagging》中将中文分词视作为序列标注问题（sequence tagging problem），由此引入监督学习算法来解决分词问题。 1. HMM 首先，我们将简要地介绍HMM（主要参考 ...

1. 马尔可夫模型 　　如果一个系统有n个有限状态$S=\{s_{1} , s_{2} ,\dots s_{n}\}$,随着时间推移，该系统将从某一状态转移到另一状态，$Q=\{q_{1},q_{2},\dots q_{n}\}$位一个随机变量序列，该序列中的变量取值为状态集S中的某个状态 ...

朴素贝叶斯(NB) , 最大熵(MaxEnt) (逻辑回归, LR), 因马尔科夫模型(HMM), 最大熵马尔科夫模型(MEMM), 条件随机场(CRF) 这几个模型之间有千丝万缕的联系，本文首先会证明 Logistic 与 MaxEnt 的等价性，接下来将从图模型的角度阐述几个模型之间的关系 ...

1、似然函数 　　概率和似然的区别：概率是已知参数的条件下预测未知事情发生的概率，而似然性是已知事情发生的前提下估计模型的参数。我们通常都是将似然函数取最大值时的参数作为模型的参数。 　　那么为何要取似然函数取最大值的参数作为模型的参数？我们基于这样的假设：对于已经发生的事情，在同样 ...