线性分组码 1. 线性分组码 分组码：信息划分成固定长度\(k\)的分组，各个分组依次编码。 \(\boldsymbol{u} = (u_0, \dots, u_{k-1})\)编码为\(\boldsymbol{v} = (v_0, \dots, v_{n-1})\)，其中\(n \gt k ...

信息论（Information Theory）是概率论与数理统计的一个分枝。用于信息处理、信息熵、通信系统、数据传输、率失真理论、密码学、信噪比、数据压缩和相关课题。 基本概念 先说明一点：在信息论里面对数log默认都是指以2为底数。 自信息量 联合自信息量 条件自信息 ...

1. 基本原理 1.1 定义 1.2 分量码设计 2. 编码方法 2.1 交织器的设计 2.2 分量编码器 2.3 删余矩阵及复用 3. 译码方法和算法 3.1 迭代译码 3.2 MAP类算法 3.3 SVOA 4. MATLAB仿真和实现 4.1 编码 ...

信息的度量 　　　　信息具可度量性，其大小取决于信息所消除的不确定性 　　　　举例如下： 　　　　　　消息A：中国女子乒乓球队夺取亚运会冠军。 　　　　　　消息B：中国男子足球队夺取世界杯赛冠军。 　　　　　　从事件的描述上来看，其主题内容大致相同，那么我们是否可以认为事件A和事件B具有 ...

基础信息论复习 目录 基础信息论复习 课程复习指引： 第2章 信息熵 一. 信息量 二. 互信息量与条件互信息量 三. 信源熵 四. 离散平稳信源 五. 马尔可夫信源与冗余度 ...

1. 信息熵 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。在没有外部环境的作用下，事物总是向着熵增大的方向发展，所以熵越大，可能性也越大。 \[H(X)=-\sum_{i=1}^np_{(i)}logp_{(i)} \] 2. 条件熵 X确定时，Y的不确定性度量。 在X ...

目录 一、信息论 熵 信源 信息量 信息熵 条件熵 信息增益 信息增益比 相对熵 交叉熵 最大熵原理 二、数理统计 与概率论的区别 统计推断方式 ...