信息論（Information Theory）是概率論與數理統計的一個分枝。用於信息處理、信息熵、通信系統、數據傳輸、率失真理論、密碼學、信噪比、數據壓縮和相關課題。 基本概念 先說明一點：在信息論里面對數log默認都是指以2為底數。 自信息量 聯合自信息量 條件自信息 ...

所處的時代是信息時代，信息時代的最主要特征是不確定性。以前的靠某個規律或者通過簡單的幾條生活智慧活好一輩 ...

基礎信息論復習 目錄 基礎信息論復習 課程復習指引： 第2章 信息熵 一. 信息量 二. 互信息量與條件互信息量 三. 信源熵 四. 離散平穩信源 五. 馬爾可夫信源與冗余度 ...

1. 信息熵 熵度量了事物的不確定性，越不確定的事物，它的熵就越大。在沒有外部環境的作用下，事物總是向着熵增大的方向發展，所以熵越大，可能性也越大。 \[H(X)=-\sum_{i=1}^np_{(i)}logp_{(i)} \] 2. 條件熵 X確定時，Y的不確定性度量。 在X ...

前置知識 　 　　 　　　　上述公式是自信息量公式，該單位取決於對數的底，若以2為底，則單位為比特（bit），以e為底，單位為奈特，以10為底，單位為哈特。通常我們取比特為單位。 熵 　　　　熵是從整個集合的統計特性來考慮的，他從平均意義上來表征信源的總體特征 ...

之前只知道香農於1948年發表的那篇舉世矚目的paper，《A Mathematical Theory of Communication》，過了一年拉上Warren Weaver作為共同作者出了個單行 ...

典型序列: 　　信源有p個編碼，，，，每個編碼有一個出現的概率 　　那么對於這個信源發出的n長序列 　　一共有pn個n長序列 　　其中有一小部分，出現的概率較大，稱為典型序列 　　其他的序列 ...

Wordle 與 信息論 前言 最近，wordle 游戲在朋友圈中大火。那么 wordle 究竟是什么呢？其實就是一個猜單詞游戲，每次輸入一個長度為 \(5\) 的單詞，系統會告訴你，在你的猜測中，哪些字母的位置是正確的，哪些字母出現在目標單詞中但是位置不正確。根據這些提示，你需要 ...