自信息 自信息I表示概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示，例如bit、nat或是hart，使用哪个单位取决于在计算中使用的对数的底。如下图： 对数以2为底，单位是比特（bit ...

摘要： 　　1.信息的度量 　　2.信息不确定性的度量 内容： 1.信息的度量 　　直接给出公式，这里的N(x)是随机变量X的取值个数，至于为什么这么表示可以考虑以下两个事实： 　　（1）两个独立事件X,Y的联合概率是可乘的，即，而X,Y同时发生的信息量应该是可加的，即，因此对概率 ...

一、信息熵 若一个离散随机变量 \(X\) 的可能取值为 \(X = \{ x_{1}, x_{2},...,x_{n}\}\)，且对应的概率为： \[p(x_{i}) = p(X=x_{i}) \] 那么随机变量 \(X\) 的熵定义为： \[H(X) = -\sum_{i ...

0 前言 上"多媒体通信"课，老师讲到了信息论中的一些概念，看到交叉熵，想到这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识，所以查资料加深一下理解。 1 信息熵的抽象定义 熵的概念最早由统计热力学引入。 信息熵是由信息论之父香农提出来的，它用于随机变量 ...

一、熵 熵的定义： 其对数log的底为2，若使用底为b的对数，则记为。当对数底为时，熵的单位为奈特。 用表示数学期望，如果，则随机变量的期望值为， 当，关于的分布自指数学期望。而熵为随机变量的期望值，其是的概率密度函数，则可写为， 引理： 证明： 二、联合熵与条件熵 ...

引入1：随机变量函数的分布 给定X的概率密度函数为fX(x), 若Y = aX, a是某正实数，求Y得概率密度函数fY(y). 解：令X的累积概率为FX(x), Y的累积概率为FY(y) ...

信息熵、交叉熵、KL散度、JS散度、Wasserstein距离 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵 ...

引言 今天在逛论文时突然看到信息熵这个名词，我啪的一下就记起来了，很快啊！！这不是我大一第一节信息资源管理概论课讲到的第一个专业名词吗，信息熵我可熟了，章口就来，信息熵是负熵 .......淦，负熵又是啥。好家伙，一整门课的知识都还给老师了，只记得老师给我们大肆推荐的《JinPingMei ...