前置知识 　 　　 　　　　上述公式是自信息量公式，该单位取决于对数的底，若以2为底，则单位为比特（bit），以e为底，单位为奈特，以10为底，单位为哈特。通常我们取比特为单位。 熵 　　　　熵是从整个集合的统计特性来考虑的，他从平均意义上来表征信源的总体特征 ...

信息熵： 1. 热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。 2. ；两个独立符号所产生的不确定性应等于各自不确定性之和 3. 在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均 ...

摘要： 　　1.信息的度量 　　2.信息不确定性的度量 内容： 1.信息的度量 　　直接给出公式，这里的N(x)是随机变量X的取值个数，至于为什么这么表示可以考虑以下两个事实： 　　（1）两个独立事件X,Y的联合概率是可乘的，即，而X,Y同时发生的信息量应该是可加的，即，因此对概率 ...

1. 绪论 0x1：信息论与其他学科之间的关系 信息论在统计物理（热力学）、计算机科学（科尔莫戈罗夫复杂度或算法复杂度）、统计推断（奥卡姆剃刀，最简洁的解释最佳）以及概率和统计（关于最优化假设检验与估计的误差指数）等学科中都具有奠基性的贡献。如下图 这个小节，我们简要介绍信息论及其关联 ...

分类问题损失函数的信息论解释 分类问题的优化过程是一个损失函数最小化的过程，对应的损失函数一般称为logloss，对于一个多分类问题，其在N个样本上的logloss损失函数具有以下形式： 其中，yi(n)代表第n个样本是否属于第i个类别，取值为0或1，f(x(n))i代表分类模型对于第n ...

分类问题的优化过程是一个损失函数最小化的过程，对应的损失函数一般称为logloss，对于一个多分类问题，其在N个样本上的logloss损失函数具有以下形式： 其中，yi(n)代表第n个样本 ...

信息熵通俗解释 一、总结 一句话总结： 【不确定性叫做熵】：当一件事情（宏观态）有多种可能情况（微观态）时，这件事情（宏观态）对某人（观察者）而言具体是哪种情况（微观态）的不确定性叫做熵（entropy） 【消除不确定性的叫信息】：而能够消除该人做这件事情（宏观态）不确定性的事物叫做信息 ...

  信息是一种客观存在的事物，它与材料、能源一样，都是社会的基础资源。   1948年，美国科学家香农同学在对通信理论深入研究的基础上，提出了信息的概念，创立了信息理论。 此后，人们对信息的研究迅速增加，形成了一个新的学科——信息论。至今，信息论已发展成为一个内涵非常丰富的学科，与控制论和系统论 ...