一、熵 熵的定義： 其對數log的底為2，若使用底為b的對數，則記為。當對數底為時，熵的單位為奈特。 用表示數學期望，如果，則隨機變量的期望值為， 當，關於的分布自指數學期望。而熵為隨機變量的期望值，其是的概率密度函數，則可寫為， 引理： 證明： 二、聯合熵與條件熵 ...

自信息 自信息I表示概率空間中的單一事件或離散隨機變量的值相關的信息量的量度。它用信息的單位表示，例如bit、nat或是hart，使用哪個單位取決於在計算中使用的對數的底。如下圖： 對數以2為底，單位是比特（bit ...

信息熵 　　信息量和信息熵的概念最早是出現在通信理論中的，其概念最早是由信息論鼻祖香農在其經典著作《A Mathematical Theory of Communication》中提出的。如今，這些概念不僅僅是通信領域中的基礎概念，也被廣泛的應用到了其他的領域中，比如機器學習。 　　信息量用來 ...

1. 緒論 0x1：信息論與其他學科之間的關系 信息論在統計物理（熱力學）、計算機科學（科爾莫戈羅夫復雜度或算法復雜度）、統計推斷（奧卡姆剃刀，最簡潔的解釋最佳）以及概率和統計（關於最優化假設檢驗與估計的誤差指數）等學科中都具有奠基性的貢獻。如下圖 這個小節，我們簡要介紹信息論及其關聯 ...

引入1：隨機變量函數的分布 給定X的概率密度函數為fX(x), 若Y = aX, a是某正實數，求Y得概率密度函數fY(y). 解：令X的累積概率為FX(x), Y的累積概率為FY(y) ...

熵是信息論與編碼理論的中心概念。至於條件熵以及互信息都是某種意義上的熵。對於熵的理解是最根本的。幾乎所有的信息論教材無一列外的提到熵是刻畫信息的多少或者不確定性的。這當然也沒有什么問題，但是卻立即讓人如墮五里霧中，不知熵到底是什么意義。只要稍微鑽一下牛角尖，刻畫信息或者不確定性為什么非要用這種形式 ...

之前自己用R寫的互信息和條件互信息代碼，雖然結果是正確的，但是時間復雜度太高。 最近看了信息熵的相關知識，考慮用信息熵來計算互信息和條件互信息。 MI(X,Y)=H(X)-H(X|Y) H(X):熵，一種不確定性的度量 H(X,Y):聯合熵，兩個元素同時發生的不確定度 MI(X,Y ...

信息量 信息量是通過概率來定義的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。簡而言之，概率小的事件信息量大，因此信息量 \(I(x)\) 可以定義如下： \[I(x) := log(\frac{1}{p(x)}) \] 信息熵/熵 ...