信息熵 　　信息量和信息熵的概念最早是出現在通信理論中的，其概念最早是由信息論鼻祖香農在其經典著作《A Mathematical Theory of Communication》中提出的。如今，這些概念不僅僅是通信領域中的基礎概念，也被廣泛的應用到了其他的領域中，比如機器學習。 　　信息量用來 ...

一、熵 熵的定義： 其對數log的底為2，若使用底為b的對數，則記為。當對數底為時，熵的單位為奈特。 用表示數學期望，如果，則隨機變量的期望值為， 當，關於的分布自指數學期望。而熵為隨機變量的期望值，其是的概率密度函數，則可寫為， 引理： 證明： 二、聯合熵與條件熵 ...

摘要： 　　1.信息的度量 　　2.信息不確定性的度量 內容： 1.信息的度量 　　直接給出公式，這里的N(x)是隨機變量X的取值個數，至於為什么這么表示可以考慮以下兩個事實： 　　（1）兩個獨立事件X,Y的聯合概率是可乘的，即，而X,Y同時發生的信息量應該是可加的，即，因此對概率 ...

引入1：隨機變量函數的分布 給定X的概率密度函數為fX(x), 若Y = aX, a是某正實數，求Y得概率密度函數fY(y). 解：令X的累積概率為FX(x), Y的累積概率為FY(y) ...

一、信息熵 若一個離散隨機變量 \(X\) 的可能取值為 \(X = \{ x_{1}, x_{2},...,x_{n}\}\)，且對應的概率為： \[p(x_{i}) = p(X=x_{i}) \] 那么隨機變量 \(X\) 的熵定義為： \[H(X) = -\sum_{i ...

1. 緒論 0x1：信息論與其他學科之間的關系 信息論在統計物理（熱力學）、計算機科學（科爾莫戈羅夫復雜度或算法復雜度）、統計推斷（奧卡姆剃刀，最簡潔的解釋最佳）以及概率和統計（關於最優化假設檢驗與估計的誤差指數）等學科中都具有奠基性的貢獻。如下圖 這個小節，我們簡要介紹信息論及其關聯 ...

0 前言 上"多媒體通信"課，老師講到了信息論中的一些概念，看到交叉熵，想到這個概念經常用在機器學習中的損失函數中。 這部分知識算是機器學習的先備知識，所以查資料加深一下理解。 1 信息熵的抽象定義 熵的概念最早由統計熱力學引入。 信息熵是由信息論之父香農提出來的，它用於隨機變量 ...

熵，條件熵，相對熵，互信息的相關定義及公式推導 熵是隨機變量不確定性的度量，不確定性越大，熵值越大，若隨機變量退化成定值，熵為0，均勻分布是最不確定的分布。熵其實定義了一個函數(概率分布函數)到一個值(信息熵)的映射。熵的定義公式如下： 在經典熵的定義中，底數是2，此時熵 ...