最近在看决策树的模型，其中涉及到信息熵的计算，这里东西是由信号处理中来的，理论部分我就不再重复前人的东西了，下面给出两个简单的公式： 当然学习过信号与系统的童鞋一定觉得这不是香农提出的东西吗？O(∩_∩)O~没错，就是这个东西，只不过我们用在了机器学习上，好了下面就看代码 ...

最近在看决策树的模型，其中涉及到信息熵的计算，这里东西是由信号处理中来的，理论部分我就不再重复前人的东西了，下面给出两个简单的公式： 当然学习过信号与系统的童鞋一定觉得这不是香农提出的东西吗？O(∩_∩)O~没错，就是这个东西，只不过我们用在了机器学习上，好了下面就看代码 ...

　　1948年，香农（Claude E. Shannon）提出了信息熵的概念，解决了对信息的量化度量问题。香农第一次用数学语言描述了概率于信息冗余度的关系。 　　信息的定义： 　　　　信息是确定性的增加。 　　　　信息是物质、能量、信息及其属性的标示。 　　所谓信息熵，是一个数学上颇为抽象 ...

1.信息熵及梯度计算 热力学中的熵：是表示分子状态混乱程度的物理量 信息论中的熵：用来描述信源的不确定性的大小 经常使用的熵概念有下列几种： 信息熵、交叉熵、相对熵、条件熵、互信息 信息熵（entropy） 信源信息的不确定性函数f通常满足两个条件 ...

\(H(X)=-\sum_{x\in X} p(x)*log p(x)\) \(H(X|Y)=-\sum_{y\in Y} p(y)*H(X|Y=y)\) ...

定义： p（x）指的是离散型随机变量的各个情况的概率 例子： 对数的底数为2---如果单位是比特的话 条件熵（期望熵）和信息增益： 注意这个条件是（是否阴天） 信息增益则是总的熵减去条件熵 ...

引言 今天在逛论文时突然看到信息熵这个名词，我啪的一下就记起来了，很快啊！！这不是我大一第一节信息资源管理概论课讲到的第一个专业名词吗，信息熵我可熟了，章口就来，信息熵是负熵 .......淦，负熵又是啥。好家伙，一整门课的知识都还给老师了，只记得老师给我们大肆推荐的《JinPingMei ...

1. 信息熵 1.1 信息熵的数学本质 一个随机变量或系统所包含信息量的数学期望 1.2 信息熵的物理意义（信息论解释） 对随机变量的所有取值进行编码所需的最短编码长度 消除随机变量的不确定性所需的最短编码长度即为信息熵 1.3 随机变量X的熵： \(H(X ...