逻辑回归 因变量随着自变量变化而变化。 多重线性回归是用回归方程描述一个因变量与多个自变量的依存关系，简称多重回归，其基本形式为：Y= a + bX1+CX2+*+NXn。 二项分布即重复n次独立的伯努利试验。在每次试验中只有两种可能的结果，而且两种结果发生与否互相对立，并且相互独立 ...

逻辑斯谛回归是统计学习中的经典分类方法，和最大熵模型相比，具有以下的共同点和区别： 共同点 都属于概率模型，该模型要寻找的是给定一个x，得到输出变量Y的概率分布P(Y|x)，如果是二分类，Y取值为0或1，如果是多分类，Y有K个不同的类别。 都属于对数线性模型 ...

逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法。最大熵模型是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model）。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。 逻辑斯谛回归 逻辑斯谛分布 ：设\(X ...

最大熵模型是指在满足约束条件的模型集合中选取熵最大的模型，即不确定性最大的模型。 最大熵原理 最大熵思想：当你要猜一个概率分布时，如果你对这个分布一无所知，那就猜熵最大的均匀分布，如果你对这个分布知道一些情况，那么，就猜满足这些情况的熵最大的分布。 算法推导 按照最大熵原理,我们应该 ...

声明： 1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用。欢迎转载，但请注明出处（即：本帖地址）。 2，因为本人在学习 ...

最大熵模型预备知识 信息量：一个事件发生的概率越小，信息量越大，所以信息量应该为概率的减函数，对于相互独立的两个事有p(xy)=p(x)p(y)，对于这两个事件信息量应满足h(xy)=h(x)+h(y)，那么信息量应为对数函数： 对于一个随机变量可以以不同的概率发生 ...

1、似然函数 　　概率和似然的区别：概率是已知参数的条件下预测未知事情发生的概率，而似然性是已知事情发生的前提下估计模型的参数。我们通常都是将似然函数取最大值时的参数作为模型的参数。 　　那么为何要取似然函数取最大值的参数作为模型的参数？我们基于这样的假设：对于已经发生的事情，在同样 ...

Overview 统计建模方法是用来modeling随机过程行为的。在构造模型时，通常供我们使用的是随机过程的采样，也就是训练数据。这些样本所具有的知识（较少），事实上，不能完整地反映整个随机过程的状态。建模的目的，就是将这些不完整的知识转化成简洁但准确的模型。我们可以用这个模型去预测 ...