線性分組碼 1. 線性分組碼 分組碼：信息划分成固定長度\(k\)的分組，各個分組依次編碼。 \(\boldsymbol{u} = (u_0, \dots, u_{k-1})\)編碼為\(\boldsymbol{v} = (v_0, \dots, v_{n-1})\)，其中\(n \gt k ...

信息論（Information Theory）是概率論與數理統計的一個分枝。用於信息處理、信息熵、通信系統、數據傳輸、率失真理論、密碼學、信噪比、數據壓縮和相關課題。 基本概念 先說明一點：在信息論里面對數log默認都是指以2為底數。 自信息量 聯合自信息量 條件自信息 ...

1. 基本原理 1.1 定義 1.2 分量碼設計 2. 編碼方法 2.1 交織器的設計 2.2 分量編碼器 2.3 刪余矩陣及復用 3. 譯碼方法和算法 3.1 迭代譯碼 3.2 MAP類算法 3.3 SVOA 4. MATLAB仿真和實現 4.1 編碼 ...

信息的度量 　　　　信息具可度量性，其大小取決於信息所消除的不確定性 　　　　舉例如下： 　　　　　　消息A：中國女子乒乓球隊奪取亞運會冠軍。 　　　　　　消息B：中國男子足球隊奪取世界杯賽冠軍。 　　　　　　從事件的描述上來看，其主題內容大致相同，那么我們是否可以認為事件A和事件B具有 ...

基礎信息論復習 目錄 基礎信息論復習 課程復習指引： 第2章 信息熵 一. 信息量 二. 互信息量與條件互信息量 三. 信源熵 四. 離散平穩信源 五. 馬爾可夫信源與冗余度 ...

1. 信息熵 熵度量了事物的不確定性，越不確定的事物，它的熵就越大。在沒有外部環境的作用下，事物總是向着熵增大的方向發展，所以熵越大，可能性也越大。 \[H(X)=-\sum_{i=1}^np_{(i)}logp_{(i)} \] 2. 條件熵 X確定時，Y的不確定性度量。 在X ...

目錄 一、信息論 熵 信源 信息量 信息熵 條件熵 信息增益 信息增益比 相對熵 交叉熵 最大熵原理 二、數理統計 與概率論的區別 統計推斷方式 ...