吸收馬爾可夫鏈

轉：http://www.vartang.com/2013/02/吸收馬爾可夫鏈/

在馬爾可夫鏈中，稱P_ij=1的狀態為吸收狀態。如果一個馬爾可夫鏈中至少包含一個吸收狀態，並且從每一個非吸收狀態出發，都可以到達某個吸收狀態，那么這個馬爾可夫鏈稱為吸收馬爾可夫鏈（Absorbing Markov Chains）^[1]。

Drunkard's Walk

在上圖的醉漢游走模型中，當醉漢處於位置1、2或者3時，他將會以等概率（1/2）向左或者向右走，他一直走，直到他到達位置0（他的家）或者位置4（酒吧）才停止游走。這模型的轉移矩陣為：

含有r個吸收狀態和t個非吸收狀態的吸收鏈，其轉移矩陣的標准形式為：

其中，I是一個r×r的單位矩陣，0是一個r×t的零矩陣，R是一個t×r的非零矩陣，Q是一個t×t的矩陣。

吸收鏈到達吸收狀態的概率為1（即當n→∞時，Qⁿ→0）。

對於吸收鏈P的標准形式，矩陣I-Q具有可逆矩陣N，且N=(I-Q)^-1=I+Q+Q²+···。N的元素n_ij是從非吸收狀態s_i到另一非吸收狀態s_j的平均轉移次數。設c為元素全為1的列向量c=[1,1,···,1]'，則t=Nc的第i個分量是從第i個非吸收態出發，到某個吸收狀態的平均轉移次數。從非吸收狀態i出發終被吸收狀態j吸收的概率由B=NR給出。

以上圖的醉漢游走模型為例，其轉移矩陣的標准形式為：

則有：

從N的中間一行可以看出，如果從狀態2開始，則被吸收前到達狀態1、2和3的平均轉移次數分別為1、2和1。

從狀態1、2和3出發，到達吸收狀態的平均轉移次數分別為3、4和3。

由矩陣B的第一行可知，從狀態1出發，有3/4的概率到達吸收狀態0，有1/4的概率到達吸收狀態4。

參考：
[1] Chapter 11,  Introduction to Probability, http://goo.gl/gjfsd