最大熵模型 作者：樱花猪 摘要： 本文为七月算法（julyedu.com）12月机器学习第七次课在线笔记。熵，这个概念对于我们来说既熟悉又陌生，熟悉的是我们在许多领域都会碰到熵这个概念，陌生的是如果真的让你解释它又说不清道不明。本次课程讨论了熵的概念并详细解释了最大熵模型。这次 ...

最大熵模型是指在满足约束条件的模型集合中选取熵最大的模型，即不确定性最大的模型。 最大熵原理 最大熵思想：当你要猜一个概率分布时，如果你对这个分布一无所知，那就猜熵最大的均匀分布，如果你对这个分布知道一些情况，那么，就猜满足这些情况的熵最大的分布。 算法推导 按照最大熵原理,我们应该 ...

最大熵模型预备知识 信息量：一个事件发生的概率越小，信息量越大，所以信息量应该为概率的减函数，对于相互独立的两个事有p(xy)=p(x)p(y)，对于这两个事件信息量应满足h(xy)=h(x)+h(y)，那么信息量应为对数函数： 对于一个随机变量可以以不同的概率发生 ...

原文：https://www.zybuluo.com/frank-shaw/note/108124 信息熵 信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息 ...

1、似然函数 　　概率和似然的区别：概率是已知参数的条件下预测未知事情发生的概率，而似然性是已知事情发生的前提下估计模型的参数。我们通常都是将似然函数取最大值时的参数作为模型的参数。 　　那么为何要取似然函数取最大值的参数作为模型的参数？我们基于这样的假设：对于已经发生的事情，在同样 ...

Overview 统计建模方法是用来modeling随机过程行为的。在构造模型时，通常供我们使用的是随机过程的采样，也就是训练数据。这些样本所具有的知识（较少），事实上，不能完整地反映整个随机过程的状态。建模的目的，就是将这些不完整的知识转化成简洁但准确的模型。我们可以用这个模型去预测 ...

把各种熵的好文集中一下，希望面试少受点伤，哈哈哈 1. 条件熵 https://zhuanlan.zhihu.com/p/26551798 我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下： 我们的条件熵的定义是：定义为X给定条件下，Y ...

逻辑回归 sigmoid函数=\(\sigma(x)=\frac{1}{1+e^{-x}}=\frac{e^{x}}{1+e^{x}}\) 二项逻辑回归模型 有如下条件概率分布，\(w\)内已经包含了偏置\(b\)： \[P(Y=1|x)=\frac{\exp(w\cdot x ...