自信息的含義包括兩個方面：
1.自信息表示事件發生前，事件發生的不確定性。
2.自信息表示事件發生后，事件所包含的信息量，是提供給信宿的信息量，也是解除這種不確定性所需要的信息量。
互信息：
離散隨機事件之間的互信息：
換句話說就是，事件x,y之間的互信息等於“x的自信息”減去 “y條件下x的自信息”。 I(x)表示x的不確定性，I(x|y)表示在y發生條件下x的不確定性，I(x;y)表示當y發生后x不確定性的變化。 兩個不確定度之差，是不確定度消除的部分，代表已經確定的東西，實際就是由y發生所得到的關於x的信息量。互信息可正可負(但是自信息一定是正的)，所以就有了任何兩事件之間的互信息不可能大於其中任一事件的自信息。(畢竟I(x;y)=I(y;x)=I(x)-I(x|y)=I(y)-I(y|x), I(x|y)和I(y|x)皆大於0 )
如果x事件提供了關於另一事件y的負的信息量，說明x的出現不利於y的出現。
另一個角度，如果x和y統計獨立，即I(x|y)=I(y|x)=0. 則就會出現I(x;y) = I(x) 這種情況！，這也說明了另一個問題，就是一個事件的自信息是任何其他事件所能提供的關於該事件的最大信息量。
信息熵：
含義：
1.在信源輸出后，表示每個信源符號所提供的平均信息量。
2.在信源輸出前，表示信源的平均不確定性。
3.表示信源隨機性大小，H(x)大的，隨機性大
4.當信源輸出后，不確定性解除，熵可視為解除信源不確定性所需的信息量。
信息熵的計算：
離散信源的熵等於所對應的有根概率樹上的所有節點(包括根節點，不包括葉)的分支熵用該節點概率加權的和，即H(x)=∑q(ui)H(ui) 式中q(ui)為節點ui的概率，H(ui)為節點ui的分支熵。
條件熵：
另外 【 H(1/2) = 2* -1*(1/2)log2(1/2) = 1 H(1/3)=3* -1*(1/3)log2(1/3) = log23 ≈1.585 bit/符號】
聯合熵：
另外【 H(1/3,1/3,1/3)=3* -1*(1/3) (1/3) = log23 ≈1.585 bit/符號 ,H() 的括號中如果只有一個分數1/2，那么就代表是 H(1/2,1/2) 畢竟2*1/2=1,同理H(1/3)代表 H(1/3,1/3,1/3) 】
熵的基本性質：
1.對稱性 2.非負性 3.拓展性 4.可加性
有以下表述：
5.極值性
離散最大熵定理：對於有限離散隨機變量集合，當集合中的事件等概率發生時，熵達到最大值。可由散度不等式證明：
即H(x)≤logn,僅當P(x)等概率分布時等號成立。
6.確定性 ：當隨機變量集合中任一事件概率為1時，熵就為0. 換個形式來說，從總體來看，信源雖含有許多消息，但只有一個消息幾乎必然出現，而其他消息幾乎都不出現，那么，這是一個確知信源，從熵的不確定性概念來講，確知信源的不確定性為0.
7上凸性：H(p)=H(p1,p2,p3,...,pn)是(p1,p2,p3,...,pn)的嚴格上凸函數。
各類熵之間的關系：
1.條件熵與信息熵之間的關系
H(Y|X) ≤ H(Y) 這說明了：在信息處理的過程中，條件越多，熵越小。
2.聯合熵和信息熵的關系
H(X1X2...XN)≤∑i=1N H(Xi) 當且僅當Xi相互獨立時，等式成立。
熵函數的唯一性：
如果熵函數滿足：（1）是概率的連續函數 （2）信源符號等概率時是n（信源符號數）的增函數（H(X)=log2n）； （3）可加性 （H(XY) = H(X) + H(Y|X) =H(Y) + H(X|Y) ）
那么，熵函數的表示是唯一的，即只與定義公式相差一個常數因子。