克劳德·香农花了差不多10年，制定了一套完整的、具有开创性意义的信息理论。 一开始在研究生院时，他只是想给当时的众多信息技术（如电话，收音机，电视机）建立一套通用的技术基础。 直到1948年，他发表了一篇名为《通信的数学理论》的论文。 他的重大贡献可不止这篇论文。当他还在MIT攻读硕士时 ...

信息论（Information Theory）是概率论与数理统计的一个分枝。用于信息处理、信息熵、通信系统、数据传输、率失真理论、密码学、信噪比、数据压缩和相关课题。 基本概念 先说明一点：在信息论里面对数log默认都是指以2为底数。 自信息量 联合自信息量 条件自信息 ...

所处的时代是信息时代，信息时代的最主要特征是不确定性。以前的靠某个规律或者通过简单的几条生活智慧活好一辈 ...

1. 信息熵 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。在没有外部环境的作用下，事物总是向着熵增大的方向发展，所以熵越大，可能性也越大。 \[H(X)=-\sum_{i=1}^np_{(i)}logp_{(i)} \] 2. 条件熵 X确定时，Y的不确定性度量。 在X ...

基础信息论复习 目录 基础信息论复习 课程复习指引： 第2章 信息熵 一. 信息量 二. 互信息量与条件互信息量 三. 信源熵 四. 离散平稳信源 五. 马尔可夫信源与冗余度 ...

信息的度量 　　　　信息具可度量性，其大小取决于信息所消除的不确定性 　　　　举例如下： 　　　　　　消息A：中国女子乒乓球队夺取亚运会冠军。 　　　　　　消息B：中国男子足球队夺取世界杯赛冠军。 　　　　　　从事件的描述上来看，其主题内容大致相同，那么我们是否可以认为事件A和事件B具有 ...

前置知识 　 　　 　　　　上述公式是自信息量公式，该单位取决于对数的底，若以2为底，则单位为比特（bit），以e为底，单位为奈特，以10为底，单位为哈特。通常我们取比特为单位。 熵 　　　　熵是从整个集合的统计特性来考虑的，他从平均意义上来表征信源的总体特征 ...

典型序列: 　　信源有p个编码，，，，每个编码有一个出现的概率 　　那么对于这个信源发出的n长序列 　　一共有pn个n长序列 　　其中有一小部分，出现的概率较大，称为典型序列 　　其他的序列 ...