在很多信源的輸出序列中，符號之間的依賴關系是有限的，任何時刻信源符號發生的概率只與前面已經發出的若干個符號有關，而與更前面的符號無關
馬爾可夫信源滿足的兩個條件
-
某一時刻信源輸出的符號的概率只與當前所處的狀態有關，而與以前的狀態無關
\[P(x_l=a_k|s_l=E_i,x_{l-1}=a_{k1},s_{l-1}=E_j,\cdots)=P(x_ll=a_k|s_l=E_i) \]當符號輸出概率與時刻L與福安。稱具有時齊性
\[P(x_l=a_k|s_l=E_i)=P(a_k|E_i),\sum_{a_k\epsilon A}P(a_k|E_i)=1 \] -
信源的下一個狀態由當前狀態和下一刻的輸出唯一地確定
\[信源處於某一狀態E_i，當他發出一個符號后，所處的狀態就變了，一定轉移到另一狀態。狀態的轉移依賴於信源符號。 \]
m階馬爾科夫信源
\[m階馬爾可夫信源符號集共有q個符號，則信源共有q^m個不同的狀態。信源在某一的時刻，必然處於某一狀態，等到下一個字符輸出時，轉移到另外一個狀態。 \]
馬爾可夫信源熵
\[定義Q(E_i)為各狀態的極限概率，則時齊、遍歷的馬爾可夫信源熵為 H_{\infty}=\sum_{i=1}^J Q(E_i)H(X|E_i) =\sum_{i=1}^J \sum_{k=1}^q Q(E_i)P(a_k|E_i) \log P(a_k|E_i) \]
\[H_{\infty}=H(X_{x+1}|X_1X_2X_3 \cdots X-m) 表明m階馬爾可夫信源熵的極限熵等於m階條件熵。 根據條件熵公式還可以得到: H_{\infty}=H_{m+1}= -\sum_{i=1}^{q^m} \sum_{j=1}^{q^m}p(e_i)p(e_i|e_j) \log p(e_j|e_i) \]
離散信源上的總結
實際信源可能是非平穩的有記憶隨機序列信源；其極限熵是不存在的；解決的方法是假設其為離散平穩隨機序列信源，極限熵存在，但求解困難；
- 進一步假設其為m階馬爾可夫信源，用其m階條件熵近似；
- 再進一步假設為一階馬爾可夫信源，用其一階條件熵來近似；
- 最簡化的信源是離散無記憶信源，其熵為H(X)；
- 最后可以假定為等概的離散無記憶信源，其熵為log q
\[他們之間的關系可以表示為 \log q=H_0(X)\geq H_1(X)\geq H_{l+1}(X)\geq \cdots \geq H_{m+1}(X) \geq H_{\infty}(X) \]
熵的相對率
\[\eta =\frac{H_{\infty}}{H_0} \]
\[H_0=\log q \]
信源剩余度
\[\gamma =1- \eta =1-\frac{H_{\infty}}{H_0} \]