1. 绪论 0x1：信息论与其他学科之间的关系 信息论在统计物理（热力学）、计算机科学（科尔莫戈罗夫复杂度或算法复杂度）、统计推断（奥卡姆剃刀，最简洁的解释最佳）以及概率和统计（关于最优化假设检验与估计的误差指数）等学科中都具有奠基性的贡献。如下图 这个小节，我们简要介绍信息论及其关联 ...

DS 证据理论（Dempster-Shafer envidence theory）也称为DS理论，是由20世纪60年代的哈佛大学数学家A.P. Dempster利用上、下限概率解决多值映射问 ...

浅谈KL散度 一、第一种理解　　 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information ...

自信息的含义包括两个方面： 1.自信息表示事件发生前，事件发生的不确定性。 2.自信息表示事件发生后，事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量。 互信息： ...

首先补充： randn()函数用来产生正态分布的随机数或矩阵 conj()函数用来求负数的共轭：如果Z是一个复数组，那么conj(Z) = real(Z) - i*imag(Z)其中real(Z) ...

机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系，查了一些资料发现优化这3个东西其实是等价的。 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义。信息论认为： 确定的事件没有信息，随机事件包含最多的信息。 事件信息 ...

在文本分类的学习过程中，在“如何衡量一个关键字在文章中的重要性”的问题上，遇到了困难。在网上找了很多资料，大多数都提到了这个算法，就是今天要讲的TF-IDF。 总起 　　TF-IDF，理解起来相当 ...

在信息论中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。熵能量化了系统的多样性，不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下，Rényi熵构成了广义维数概念的基础。 Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵 ...

1. 引言 0x1：什么是通信 当我们说“A与B通信”时，我们本质意思是在说A的物理行为使B产生一种需要的物理状态。信息的传输是一个物理过程，因此，必然受到无法控制的周边噪声以及信号处理本身缺陷的 ...

1.首先学习下傅里叶变换的东西。学高数的时候老师只是将傅里叶变换简单的说了下，并没有深入的讲解。而现在看来，傅里叶变换似乎是信号处理的方面的重点只是呢，现在就先学习学习傅里叶变换吧。 上面 ...