信息的度量
信息具可度量性，其大小取決於信息所消除的不確定性
舉例如下：
消息A：中國女子乒乓球隊奪取亞運會冠軍。
消息B：中國男子足球隊奪取世界杯賽冠軍。
從事件的描述上來看，其主題內容大致相同，那么我們是否可以認為事件A和事件B具有相同的信息量呢？顯然是不行的。根據以往經驗，我們可以認為事件A是一個大概率事件，所以事件A的不確定性比較小，故當事件A發生時，我們從這個消息中得到的信息（消除的不確定度）很小。同理對事件B而言，由於是個極小概率事件，我們得到的信息很大。由此我們可以推斷：消息B的信息量大於消息A。
對於一個事件X，我們假設其不確定性為 I(p1) ，其中 p1 是事件X的先驗概率。
對應於事件X的消息X所消除的不確定性為 I(p2)。
那么在我們獲取了消息X之后，事件X的不確定性就變為了 I(p1)-I(p2) ，由此我們可以知道當我們對一個事物的信息獲取的越多，其不確定性就越小，當其不確定性變為0時，該事件就被確定下來了，我們對其無法再獲取更多的信息量了。
直觀定義：
收到某消息獲取的信息量=不確定性減少量=收到該消息前后某事件的不確定性差
信息量的數學表示
理論依據（信息量具有的性質）：
1.非負性 對於一個事件而言，當事件被完全確定時，即我們無法獲取更多信息時，其信息量為0，因此無法比0更小。
2.單調性 是先驗概率的單調遞減函數，即某事件的發生概率越大，其信息量就越小。
3.對於事件A 若 P(a)=0 則 I(Pa)=+∞ 若 P(a)=1 則 I(Pa)=0。
4.兩個獨立事件的聯合信息量應等於它們分別的信息量之和。
I(xi)具有兩個含義：
1.事件發生前，表示該事件發生的不確定性。
2.事件發生后，表示該事件所提供的信息量。
術語解釋
先驗概率（prior probability）是指根據以往經驗和分析得到的概率。