一、熵 熵的定义： 其对数log的底为2，若使用底为b的对数，则记为。当对数底为时，熵的单位为奈特。 用表示数学期望，如果，则随机变量的期望值为， 当，关于的分布自指数学期望。而熵为随机变量的期望值，其是的概率密度函数，则可写为， 引理： 证明： 二、联合熵与条件熵 ...

信息量 信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量 \(I(x)\) 可以定义如下： \[I(x) := log(\frac{1}{p(x)}) \] 信息熵/熵 ...

自信息的含义包括两个方面： 1.自信息表示事件发生前，事件发生的不确定性。 2.自信息表示事件发生后，事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量。 互信息： 离散随机事件之间的互信息： 换句话说就是，事件x,y之间的互信息等于“x的自信息 ...

之前自己用R写的互信息和条件互信息代码，虽然结果是正确的，但是时间复杂度太高。 最近看了信息熵的相关知识，考虑用信息熵来计算互信息和条件互信息。 MI(X,Y)=H(X)-H(X|Y) H(X):熵，一种不确定性的度量 H(X,Y):联合熵，两个元素同时发生的不确定度 MI(X,Y ...

公式 原始互信息计算R代码： 数据类型如下： 原始条件互信息计算R代码： ...

1. 绪论 0x1：信息论与其他学科之间的关系 信息论在统计物理（热力学）、计算机科学（科尔莫戈罗夫复杂度或算法复杂度）、统计推断（奥卡姆剃刀，最简洁的解释最佳）以及概率和统计（关于最优化假设检验与估计的误差指数）等学科中都具有奠基性的贡献。如下图 这个小节，我们简要介绍信息论及其关联 ...

或0。 互信息实际上是更广泛的相对熵的特殊情形 如果变量不是独立的,那么我们可以通过考察联合概率分布与边缘概率 ...

自信息 自信息I表示概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示，例如bit、nat或是hart，使用哪个单位取决于在计算中使用的对数的底。如下图： 对数以2为底，单位是比特（bit ...