最近看一些文檔，看見了互信息的使用，第一次接觸互信息，感覺和專業有些相關，就把它記錄下來，下面是一片不錯的文章。
互信息(Mutual Information)是度量兩個事件集合之間的相關性(mutual dependence)。
平均互信息量定義:
互信息量I(xi;yj)在聯合概率空間P(XY)中的統計平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的隨機性,成為一個確定的量。
平均互信息量的物理含義
1） 觀察者站在輸出端：
H(X/Y) —信道疑義度/損失熵.。Y關於X的后驗不確定度。表示收到變量Y后,對隨機變量X仍然存在的不確定度。代表了在信道中損失的信息。
H(X) —X的先驗不確定度/無條件熵。
I(X;Y)—收到Y前后關於X的不確定度減少的量。從Y獲得的關於X的平均信息量。
2）觀察者站在輸入端：
H(Y/X)—噪聲熵。表示發出隨機變量X后, 對隨機變量Y仍然存在的平均不確定度。如果信道中不存在任何噪聲, 發送端和接收端必存在確定的對應關系, 發出X后必能確定對應的Y, 而現在不能完全確定對應的Y, 這顯然是由信道噪聲所引起的。
I(Y;X) —發出X前后關於Y的先驗不確定度減少的量.
3）觀察者站在通信系統總體立場上：
H(XY)—聯合熵.表示輸入隨機變量X, 經信道傳輸到達信宿, 輸出隨機變量Y。即收,發雙方通信后,整個系統仍然存在的不確定度.
I(X;Y) —通信前后整個系統不確定度減少量。在通信前把X和Y看成兩個相互獨立的隨機變量, 整個系統的先驗不確定度為X和Y的聯合熵H(X)+H(Y); 通信后把信道兩端出現X和Y看成是由信道的傳遞統計特性聯系起來的, 具有一定統計關聯關系的兩個隨機變量, 這時整個系統的后驗不確定度由H(XY)描述。
以上三種不同的角度說明: 從一個事件獲得另一個事件的平均互信息需要消除不確定度,一旦消除了不確定度,就獲得了信息。
平均互信息量的性質
① 對稱性
I(X;Y)= I(Y;X)
由Y提取到的關於X的信息量與從X中提取到的關於Y的信息量是一樣的。 I(X;Y)和 I(Y;X)只是觀察者的立足點不同。
② 非負性
I(X;Y)≥0
平均互信息量不是從兩個具體消息出發, 而是從隨機變量X和Y的整體角度出發, 並在平均意義上觀察問題, 所以平均互信息量不會出現負值。
或者說從一個事件提取關於另一個事件的信息, 最壞的情況是0, 不會由於知道了一個事件,反而使另一個事件的不確定度增加。
③ 極值性
I(X;Y)≤H(X)
I(Y;X)≤H(Y)
從一個事件提取關於另一個事件的信息量, 至多是另一個事件的熵那么多, 不會超過另一個事件自身所含的信息量。
當X和Y是一一對應關系時: I(X;Y)=H(X), 這時H(X/Y)=0。從一個事件可以充分獲得關於另一個事件的信息, 從平均意義上來說, 代表信源的信息量可全部通過信道。
當X和Y相互獨立時: H(X/Y) =H(X), I(Y;X)=0。 從一個事件不能得到另一個事件的任何信息,這等效於信道中斷的情況。
④ 凸函數性
平均互信息量是p(xi)和p(yj /xi)的函數,即I(X;Y)=f [p(xi), p(yj /xi)];
若固定信道,調整信源, 則平均互信息量I(X;Y)是p(xi)的函數,即I(X;Y)=f [p(xi)];
若固定信源,調整信道, 則平均互信息量I(X;Y)是p(yj /xi)的函數,即I(X;Y)=f [p (yj /xi)]。
平均互信息量I(X;Y)是輸入信源概率分布p(xi)的上凸函數(concave function; or convext cap function)。
平均互信息量I(X;Y)是輸入轉移概率分布p(yj /xi)的下凸函數(convext function; or convext cup function)。
⑤ 數據處理定理
串聯信道
在一些實際通信系統中, 常常出現串聯信道。例如微波中繼接力通信就是一種串聯信道.
信宿收到數據后再進行數據處理, 數據處理系統可看成一種信道, 它與前面傳輸數據的信道構成串聯信道。
數據處理定理:當消息經過多級處理后,隨着處理器數目的增多,輸入消息與輸出消息之間的平均互信息量趨於變小。即
I(X;Z)≤I(X;Y)
I(X;Z)≤I(Y;Z)
其中假設Y條件下X和Z相互獨立。
兩級串聯信道輸入與輸出消息之間的平均互信息量既不會超過第Ⅰ級信道輸入與輸出消息之間的平均互信息量,也不會超過第Ⅱ級信道輸入與輸出消息之間的平均互信息量。
當對信號/數據/消息進行多級處理時, 每處理一次, 就有可能損失一部分信息, 也就是說數據處理會把信號/數據/消息變成更有用的形式, 但是絕不會創造出新的信息。這就是所謂的信息不增原理。
當已用某種方式取得Y后, 不管怎樣對Y進行處理, 所獲得的信息不會超過I(X;Y)。每處理一次, 只會使信息量減少, 至多不變。也就是說在任何信息流通系統中, 最后獲得的信息量,至多是信源提供的信息。一旦在某一過程中丟失了一些信息, 以后的系統不管怎樣處理, 如果不能接觸到丟失信息的輸入端, 就不能再恢復已丟失的信息。