前置知識
上述公式是自信息量公式，該單位取決於對數的底，若以2為底，則單位為比特（bit），以e為底，單位為奈特，以10為底，單位為哈特。通常我們取比特為單位。
熵
熵是從整個集合的統計特性來考慮的，他從平均意義上來表征信源的總體特征。
公式如下：
信息熵具有以下兩個物理含義：
1.表示信源輸出前，信源的平均不確定性。
2.表示信源輸出后，每個符號所攜帶的平均信息量。
熵的單位同樣取決於對數所取的底，若以2為底，單位為比特/符號。
自信息量
自信息量用只是表征信源中各個符號的不確定度，對於一個信源而言，由於存在多個不同的符號信息，所以一個信源的總信息量等於消息中各個符號的自信息之和。
I = n1*I(x=1)+n2*(x=2)+...
對於一個消息中平均每個符號攜帶的信息量為：總信息量/符號個數 （單位為：比特/符號）。
但是對於該信源中平均每個符號攜帶的信息量為：
注意：自信息量不能作為信源的總體信息量。
自信息不是熵。
聯合熵與條件熵
對於一個隨機變量X的熵的定義為：
對於兩個隨機變量X,Y的熵的定義為，我們稱之為聯合熵：
推廣至多個隨機變量Xi：
對於兩個隨機變量X，Y，他們之間可能存在相關關系，所以對於給定 Y=yj，此時X的熵，我們稱之為條件熵：
X關於Y的條件熵定義為：
根據公式我們可以推導出：
H(X)：表示信源中每個符號的平均信息量（信源熵）
H(Y)：表示信宿中每個符號的平均信息量（信宿熵）
H(X|Y)：表示在輸出端接收到Y的全部符號后，發送端X尚存的平均不確定性。這個對X尚存的不確定性是由於干擾引起的。信道疑義度(損失熵，含糊度)
H(Y|X)：表示在已知X的全部符號后，對於輸出Y尚存的平均不確定性。信道散布度(噪聲熵)
H(XY)：表示整個信息傳輸系統的平均不確定性（聯合熵）
熵之間的相互關系
H(X,Y) = H(X) + H(Y|X)
H(X,Y) = H(Y) + H(X|Y)
H(X) >= H(X|Y)
H(Y) >= H(Y|X)
H(X,Y) <= H(X) + H(Y)
信息熵的基本性質
1.對稱性：H(P) 的取值與分量 P1,P2,...,Pq的順序無關（熵之和總體統計特性有關）
2.確定性：H(1,0)=H(1,0,0)=H(1,0,0,...,0)=0（當一個信源是一個確知信源時，其熵為0）
3.非負性：H(P)>=0 因為 0<Pi<1 所以 log(Pi)<0 -Pi*log(Pi)>0 ，所以熵不為負值
4.擴展性：
5.可加性：對於兩個相互獨立的信源的聯合熵等於單個信源的熵之和 H(X,Y) = H(X) + H(Y)
6.強可加性：對於兩個相互關聯的信源的聯合熵等於信源X的熵加上在X已知條件下信源Y的條件熵 H(X,Y) = H(X) + H(Y)
7.遞增性：若原信源 X 中有一個符號分割成了m個元素(符號)，這m個元素的概率之和等於原元素的概率，而其他符號的概率不變，則新信源的熵增加,其增加量等於由分割而產生的不確定性量。
8.上凸性：熵函數H(P)是概率矢量P＝(p1，p2， …，pq)的嚴格∩型凸函數(或稱上凸函數)
9.極值性：
最大離散熵定理：在離散信源情況下，信源各符號等概率分布時，熵值達到最大
連續性隨機變量的熵
信息的類型分為兩種，一種是離散型的，一種是連續型的，這兩種形式我們在概率統計學上都有一定的了解，而不同的信息也對應着不同類型的熵。
有上文我們得知，離散型隨機變量對應的熵為：
那么連續型隨機變量對應的熵呢？
現在我們假設有一個連續隨機變量X，其取值范圍為 [a,b] ，而其概率分布密度函數為 p(x) ，由此我們可以得到統計學上的等式：
接着我們根據微分的思想，將 [a,b] 區間分成 n 個等長的小區間，令 
= (b-a)/n ，則可以得到一組序列 { 
} ，有：
根據中值定理以及概率分布的定義，我們可以求得n個x對應的區間概率：
於是通過上述操作我們就將一個連續型信源信號轉換成了一個離散型信源信號。