作者：忆臻链接：https://www.zhihu.com/question/22178202/answer/161732605来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明 ...

信息熵通俗解释 一、总结 一句话总结： 【不确定性叫做熵】：当一件事情（宏观态）有多种可能情况（微观态）时，这件事情（宏观态）对某人（观察者）而言具体是哪种情况（微观态）的不确定性叫做熵（entropy） 【消除不确定性的叫信息】：而能够消除该人做这件事情（宏观态）不确定性的事物叫做信息 ...

　　熵，信息熵在机器学习和深度学习中是十分重要的。那么，信息熵到底是什么呢？ 　　首先，信息熵是描述的一个事情的不确定性。比如：我说，太阳从东方升起。那么这个事件发生的概率几乎为1，那么这个事情的反应的信息量就会很小。如果我说，太阳从西方升起。那么这就反应的信息量就很大了，这有可能是因为地球 ...

用。 信息熵的定义与上述这个热力学的熵，虽然不是一个东西，但是有一定的联系。熵在信息论中代表随机变量不确定度 ...

。 下面根据我的理解一步一步引出信息熵及其公式的来源： 信息熵的公式 先抛出信息熵 ...

引言 今天在逛论文时突然看到信息熵这个名词，我啪的一下就记起来了，很快啊！！这不是我大一第一节信息资源管理概论课讲到的第一个专业名词吗，信息熵我可熟了，章口就来，信息熵是负熵 .......淦，负熵又是啥。好家伙，一整门课的知识都还给老师了，只记得老师给我们大肆推荐的《JinPingMei ...

最近在看决策树的模型，其中涉及到信息熵的计算，这里东西是由信号处理中来的，理论部分我就不再重复前人的东西了，下面给出两个简单的公式： 当然学习过信号与系统的童鞋一定觉得这不是香农提出的东西吗？O(∩_∩)O~没错，就是这个东西，只不过我们用在了机器学习上，好了下面就看代码 ...

) = -\sum_{i=1}^{n} P(x_i) logP(x_i)\) 1.4 信息熵的补充理解： ...