自信息 自信息I表示概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示，例如bit、nat或是hart，使用哪个单位取决于在计算中使用的对数的底。如下图： 对数以2为底，单位是比特（bit ...

信息熵 　　信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，比如机器学习。 　　信息量用来 ...

1. 绪论 0x1：信息论与其他学科之间的关系 信息论在统计物理（热力学）、计算机科学（科尔莫戈罗夫复杂度或算法复杂度）、统计推断（奥卡姆剃刀，最简洁的解释最佳）以及概率和统计（关于最优化假设检验与估计的误差指数）等学科中都具有奠基性的贡献。如下图 这个小节，我们简要介绍信息论及其关联 ...

熵，条件熵，相对熵，互信息的相关定义及公式推导 熵是随机变量不确定性的度量，不确定性越大，熵值越大，若随机变量退化成定值，熵为0，均匀分布是最不确定的分布。熵其实定义了一个函数(概率分布函数)到一个值(信息熵)的映射。熵的定义公式如下： 在经典熵的定义中，底数是2，此时熵 ...

引入1：随机变量函数的分布 给定X的概率密度函数为fX(x), 若Y = aX, a是某正实数，求Y得概率密度函数fY(y). 解：令X的累积概率为FX(x), Y的累积概率为FY(y) ...

信息量 信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量 \(I(x)\) 可以定义如下： \[I(x) := log(\frac{1}{p(x)}) \] 信息熵/熵 ...

摘要： 　　1.信息的度量 　　2.信息不确定性的度量 内容： 1.信息的度量 　　直接给出公式，这里的N(x)是随机变量X的取值个数，至于为什么这么表示可以考虑以下两个事实： 　　（1）两个独立事件X,Y的联合概率是可乘的，即，而X,Y同时发生的信息量应该是可加的，即，因此对概率 ...

自信息的含义包括两个方面： 1.自信息表示事件发生前，事件发生的不确定性。 2.自信息表示事件发生后，事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量。 互信息： 离散随机事件之间的互信息： 换句话说就是，事件x,y之间的互信息等于“x的自信息 ...