馬爾科夫信源

1.馬氏源的基本概念

　　馬氏源的定義：設信源符號集a_kε  A={a₁,a₂,...,a_n}，狀態集合Ω ={1,2,3...J},信源序列為...x_l-1,x_l,x_l+1...,所對應的狀態序列為...s_l-1,s_l,s_l+1...,那么滿足下面的兩個條件的信源稱為馬爾科夫信源：（1）當前時刻輸出符號的概率僅與當前時刻的信源狀態有關，與以前的輸出符號或狀態無關。   （2）當前時刻的信源狀態由前一時刻的信源狀態和前一時刻的輸出符號唯一決定。

　　對於一階馬氏鏈，一個符號就對應一個狀態；而對應於m階層馬氏鏈，m個符號對應一個狀態。可見，符號序列和狀態有一一對應的關系。（1）有限狀態馬氏鏈是隨機序列，是馬氏源的輸出；（2）馬氏鏈具有初始狀態，而平穩馬氏源（輸出為平穩馬氏鏈）通常不考慮輸出的起始。（3）作為馬氏源輸出的馬氏鏈可以是一階也可以是多階。　　（4）馬氏源和馬氏鏈可以交替使用，不會引起混淆，如果說多階馬氏鏈是指其輸出為多階馬氏鏈。
2.m階馬氏鏈的處理方法

　　p49例3.12中“二階馬氏鏈轉化為馬氏源”的步驟與  “m階馬氏鏈轉化為馬氏源”的步驟幾乎一致。

     

 3.馬氏鏈的N次拓展源的熵的計算

　　3.1馬氏鏈的N次擴展源

　　對於一階馬氏鏈，X1要用平穩分布，而其他Xi要用條件概率。一個m階馬氏鏈的N次擴展源的一個符號α={x₁,x₂,x₃,...x_n}是一個長度為N的序列，其概率可由下式計算：P(α)=p(s_m+1)∏_m+1^N p(x_i/s_i),   p(s_m+1)為s_m+1的平穩概率分布，p(x_i/s_i)為狀態s_i條件下輸出符號x_i的概率。

比如：

          

        

　　3.2馬氏鏈的N次擴展源熵的計算

　　     

后經過推導可以得到：

           

　　3.3馬氏源符號熵的計算

　　　　計算方法1：一個m階平穩馬氏源的符號熵為H(X)=lim_N-›∞H_N(X)=πTh .  從這里3.2中計算N次擴展源馬氏源的熵在擴展到無窮長后，計算公式變成了H(X)=limH_N(X)=π^Th。為此，m階馬氏源符號熵僅由平穩分布和狀態轉移概率矩陣所決定。

　　　　計算方法2：（下面這個公式其實就是H(X)=lim_N-›∞H_N(X)=πTh的換一種寫法而已。）

　　　　　　

 4.信源的相關性和剩余度

　　信源相關性

　　信源符號之間的依賴關系使信源的熵減小。如果他們的前后依賴關系越長，則信源的熵趨於越小。並且僅當信源符號之間的彼此無依賴、等概率分布時，信源的熵才最大。也就是說信源符號之間的依賴關系越強，每個符號提供的平均信息量越小，平均每個符號提供的信息量隨着符號之間的依賴關系長度的增加而減少。

       　　

 　  信源剩余度：（如下圖中公式所示：信源剩余度的概念）