在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面的符号无关
马尔可夫信源满足的两个条件
-
某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关
\[P(x_l=a_k|s_l=E_i,x_{l-1}=a_{k1},s_{l-1}=E_j,\cdots)=P(x_ll=a_k|s_l=E_i) \]当符号输出概率与时刻L与福安。称具有时齐性
\[P(x_l=a_k|s_l=E_i)=P(a_k|E_i),\sum_{a_k\epsilon A}P(a_k|E_i)=1 \] -
信源的下一个状态由当前状态和下一刻的输出唯一地确定
\[信源处于某一状态E_i，当他发出一个符号后，所处的状态就变了，一定转移到另一状态。状态的转移依赖于信源符号。 \]
m阶马尔科夫信源
\[m阶马尔可夫信源符号集共有q个符号，则信源共有q^m个不同的状态。信源在某一的时刻，必然处于某一状态，等到下一个字符输出时，转移到另外一个状态。 \]
马尔可夫信源熵
\[定义Q(E_i)为各状态的极限概率，则时齐、遍历的马尔可夫信源熵为 H_{\infty}=\sum_{i=1}^J Q(E_i)H(X|E_i) =\sum_{i=1}^J \sum_{k=1}^q Q(E_i)P(a_k|E_i) \log P(a_k|E_i) \]
\[H_{\infty}=H(X_{x+1}|X_1X_2X_3 \cdots X-m) 表明m阶马尔可夫信源熵的极限熵等于m阶条件熵。 根据条件熵公式还可以得到: H_{\infty}=H_{m+1}= -\sum_{i=1}^{q^m} \sum_{j=1}^{q^m}p(e_i)p(e_i|e_j) \log p(e_j|e_i) \]
离散信源上的总结
实际信源可能是非平稳的有记忆随机序列信源；其极限熵是不存在的；解决的方法是假设其为离散平稳随机序列信源，极限熵存在，但求解困难；
- 进一步假设其为m阶马尔可夫信源，用其m阶条件熵近似；
- 再进一步假设为一阶马尔可夫信源，用其一阶条件熵来近似；
- 最简化的信源是离散无记忆信源，其熵为H(X)；
- 最后可以假定为等概的离散无记忆信源，其熵为log q
\[他们之间的关系可以表示为 \log q=H_0(X)\geq H_1(X)\geq H_{l+1}(X)\geq \cdots \geq H_{m+1}(X) \geq H_{\infty}(X) \]
熵的相对率
\[\eta =\frac{H_{\infty}}{H_0} \]
\[H_0=\log q \]
信源剩余度
\[\gamma =1- \eta =1-\frac{H_{\infty}}{H_0} \]