克勞德·香農花了差不多10年，制定了一套完整的、具有開創性意義的信息理論。 一開始在研究生院時，他只是想給當時的眾多信息技術（如電話，收音機，電視機）建立一套通用的技術基礎。 直到1948年，他發表了一篇名為《通信的數學理論》的論文。 他的重大貢獻可不止這篇論文。當他還在MIT攻讀碩士時 ...

信息論（Information Theory）是概率論與數理統計的一個分枝。用於信息處理、信息熵、通信系統、數據傳輸、率失真理論、密碼學、信噪比、數據壓縮和相關課題。 基本概念 先說明一點：在信息論里面對數log默認都是指以2為底數。 自信息量 聯合自信息量 條件自信息 ...

所處的時代是信息時代，信息時代的最主要特征是不確定性。以前的靠某個規律或者通過簡單的幾條生活智慧活好一輩 ...

1. 信息熵 熵度量了事物的不確定性，越不確定的事物，它的熵就越大。在沒有外部環境的作用下，事物總是向着熵增大的方向發展，所以熵越大，可能性也越大。 \[H(X)=-\sum_{i=1}^np_{(i)}logp_{(i)} \] 2. 條件熵 X確定時，Y的不確定性度量。 在X ...

基礎信息論復習 目錄 基礎信息論復習 課程復習指引： 第2章 信息熵 一. 信息量 二. 互信息量與條件互信息量 三. 信源熵 四. 離散平穩信源 五. 馬爾可夫信源與冗余度 ...

信息的度量 　　　　信息具可度量性，其大小取決於信息所消除的不確定性 　　　　舉例如下： 　　　　　　消息A：中國女子乒乓球隊奪取亞運會冠軍。 　　　　　　消息B：中國男子足球隊奪取世界杯賽冠軍。 　　　　　　從事件的描述上來看，其主題內容大致相同，那么我們是否可以認為事件A和事件B具有 ...

前置知識 　 　　 　　　　上述公式是自信息量公式，該單位取決於對數的底，若以2為底，則單位為比特（bit），以e為底，單位為奈特，以10為底，單位為哈特。通常我們取比特為單位。 熵 　　　　熵是從整個集合的統計特性來考慮的，他從平均意義上來表征信源的總體特征 ...

典型序列: 　　信源有p個編碼，，，，每個編碼有一個出現的概率 　　那么對於這個信源發出的n長序列 　　一共有pn個n長序列 　　其中有一小部分，出現的概率較大，稱為典型序列 　　其他的序列 ...