第三講 馬爾可夫鏈的狀態
一、常返和暫留
Part 1：常返和暫留的定義
在馬爾可夫鏈運行和轉移的過程中，各個狀態所起的作用不完全相同，因此我們要討論幾類特殊狀態的特點，並給出狀態空間的分解定理。設 \(\{X_n\}\) 是一個時齊馬爾可夫鏈，這是我們這一節的研究對象。此外這一節的概念比較多，需要注意區分。
首中時：給定狀態 \(j\in I\) ，定義 \(\tau_j=\inf\{n\geq1:X_n=j\}\) ，稱為 \(j\) 的首中時。約定 \(\inf\varnothing=\infty\) ，即如果不存在 \(n\geq1\) 使得 \(X_n=j\) ，則定義 \(\tau_j=\infty\) 。
首中時的含義是在零時刻從狀態 \(i\) 出發的馬爾可夫鏈首次到達狀態 \(j\) 的時刻。
- 當 \(X_0=i=j\) 時，\(\tau_j\) 表示馬爾可夫鏈首次回到狀態 \(j\) 的時刻；
- 當 \(X_0=i\neq j\) 時，\(\tau_j\) 表示馬爾可夫鏈首次到達狀態 \(j\) 的時刻。
利用首中時的概念，我們可以將馬爾可夫鏈的狀態分為常返態和暫留態。
- 如果 \(P(\tau_j<\infty|X_0=j)=1\) ，則稱 \(j\) 是常返態。常返態的含義是從某一狀態出發以概率 \(1\) 在有限時間內返回該狀態。
- 如果 \(P(\tau_j<\infty|X_0=j)<1\) ，則稱 \(j\) 是暫留態。暫留態的含義是從某一狀態出發以一個正的概率不再返回該狀態。
平均回轉時：若狀態 \(j\) 是常返態，定義 \(\mu_j={\rm E}(\tau_j|X_0=j)\) ，稱為 \(j\) 的平均回轉時。
利用平均回轉時的概念，我們可以將常返態進一步分為正常返態和零常返態。
- 如果 \(\mu_j={\rm E}(\tau_j|X_0=j)<\infty\) ，則稱 \(j\) 是正常返態。
- 如果 \(\mu_j={\rm E}(\tau_j|X_0=j)=\infty\) ，則稱 \(j\) 是零常返態。
上述定義說明的是，在平均的意義下，正常返態的返回速度快於零常返態的返回速度。
簡單回顧一下，這一部分我們介紹了兩個概念——首中時和平均回轉時。根據首中時我們將馬爾可夫鏈的狀態分為常返態和暫留態，根據平均回轉時我們又將常返態分為了正常返態和零常返態。
Part 2：常返的判別條件 I
在上一節的學習中，我們知道馬爾可夫鏈的性質常常用轉移概率來刻畫。在定義了常返態和暫留態之后，我們也希望能用一個概率來刻畫常返態和暫留態的性質。
首先我們定義 \(n\) 步首次擊中概率和 \(n\) 步首次返回概率。
- 令 \(f_{ij}^{(n)}\) 表示從狀態 \(i\) 出發經過 \(n\) 步之后首次擊中狀態 \(j\) 的概率，則有
- 令 \(f_{jj}^{(n)}\) 表示從狀態 \(j\) 出發經過 \(n\) 步之后首次返回狀態 \(j\) 的概率，則有
接着我們定義可達概率和可返回概率。
- 令 \(f_{ij}\) 表示從狀態 \(i\) 出發在有限步能擊中狀態 \(j\) 的概率，則有
- 令 \(f_{jj}\) 表示從狀態 \(j\) 出發在有限步能返回狀態 \(j\) 的概率，則有
根據以上定義，我們可以得到常返態的第一個判別條件：
- 狀態 \(j\) 是常返態，當且僅當 \(f_{jj}=1\) 。
- 狀態 \(j\) 是暫留態，當且僅當 \(f_{jj}<1\) 。
若狀態 \(j\) 是常返態，我們可以通過 \(n\) 步首次返回概率計算平均回轉時，從而對正常返態和零常返態進行判別。利用離散型隨機變量的數學期望的定義即可得到
概括以上判別方法的主要思路：對於狀態 \(j\) 的每一步 \(n\) 求出 \(f_{jj}^{(n)}\) ，根據 \(f_{jj}=\displaystyle\sum_{n=1}^\infty f_{jj}^{(n)}\) 和 \(\mu_j=\displaystyle\sum_{n=1}^\infty nf_{jj}^{(n)}\) 計算可返回概率和平均回轉時，從而判斷狀態 \(j\) 的常返性。
在實際應用時，我們一般計算 \(f_{jj}^{(n)}\) 的方法是畫出狀態轉移圖，利用圖論的知識和一步轉移概率進行計算。顯然，這種方法適用於狀態轉移過程簡單的馬爾可夫鏈，對於復雜的馬爾可夫鏈並不適用。
Part 3：常返的判別條件 II
回到時齊的馬爾可夫鏈本身，我們往往已知的是一步轉移概率矩陣 \(P\) ，從而很容易得到 \(n\) 步轉移概率矩陣 \(P^n\) 。下面我們就從轉移概率的角度來給出常返態的判別條件。
首先討論一下常返態的特性：假設狀態 \(j\) 是常返態，並且過程開始時處於 \(j\) ，則過程將以概率 \(1\) 返回 \(j\) 。由馬爾可夫鏈的定義知，當它再次進入 \(j\) 時，上述過程將被重復，從而狀態 \(j\) 將以概率 \(1\) 再次被訪問。繼續重復可得如下結論：如果狀態 \(j\) 是常返態，那么開始處於狀態 \(j\) 的過程將以概率 \(1\) 無窮多次地返回狀態 \(j\) 。
定義 \(N_j=\sharp\{n\geq0:X_n=j\}\) ，表示馬爾可夫鏈訪問 \(j\) 的次數。我們可以得到常返態的第二個判別條件：
- 狀態 \(j\) 是常返態，當且僅當 \(P(N_j=\infty|X_0=j)=1\) ，當且僅當 \(\displaystyle\sum_{n=1}^\infty p_{jj}^{(n)}=\infty\) 。
- 狀態 \(j\) 是暫留態，當且僅當 \(P(N_j<\infty|X_0=j)=1\) ，當且僅當 \(\displaystyle\sum_{n=1}^\infty p_{jj}^{(n)}<\infty\) 。
這里我們需要給出第二個等價條件的證明。根據數學期望的定義，顯然有如下結論成立：
- 若 \(P(N_j=\infty|X_0=j)=1\) ，則 \({\rm E}\left(N_j|X_0=j\right)=\infty\) ；
- 若 \(P(N_j<\infty|X_0=j)=1\) ，則 \({\rm E}\left(N_j|X_0=j\right)<\infty\) 。
令 \(I_n=\left\{\begin{array}{ll}1\ , & X_n=j \ , \\ 0 \ , & X_n\neq j \ .\end{array}\right.\) ，則 \(N_j=\displaystyle\sum_{n=0}^\infty I_n\) 表示馬爾可夫鏈處於狀態 \(j\) 的次數。於是
\[{\rm E}\left(N_j|X_0=j\right)=\sum_{n=0}^\infty{\rm E}\left(I_n|X_0=j\right)=\sum_{n=0}^\infty P\left(X_n=j|X_0=j\right)=\sum_{n=0}^\infty p_{jj}^{(n)} \ . \]如此我們就證明了第二個等價條件成立。
我們再討論一下暫留態的特性：假設狀態 \(i\) 是暫留態，則有可返回概率 \(f_{jj}<1\) 。因此過程每次訪問 \(i\) 都將以一個正的概率 \(1-f_{ii}\) 不再進入這個狀態。所以，開始處於狀態 \(i\) 的過程將恰好在狀態 \(i\) 訪問 \(n\) 次的概率等於 \(f_{ii}^{n-1}\left(1-f_{ii}\right)\) 。
換句話說，如果狀態 \(i\) 是暫留態，那么開始處於狀態 \(i\) 的過程再次訪問 \(i\) 的次數服從參數為 \(1-f_{ii}\) 的幾何分布。利用幾何分布的數學期望，也可以得到
推論：一個暫留態只能被訪問有限次，從而一個有限狀態的馬爾可夫鏈中至少有一個狀態是常返態。推論可以用反證法進行證明，假設所有狀態都是暫留態，進而推出在有限時間后無狀態可訪問即可。
二、狀態之間的關系
Part 1：互達
關於常返和暫留的特點，以上我們都是對單個狀態進行討論的，下面我們考慮能否通過狀態之間的關系來判斷一個狀態的常返性。
首先介紹一下可達和互達的概念。設 \(i\) 和 \(j\) 是狀態空間 \(I\) 中的任意兩個狀態：
- 如果存在 \(n\geq1\) 使得 \(p_{ij}^{(n)}>0\) ，則稱狀態 \(i\) 可達狀態 \(j\) ，記為 \(i\to j\) 。
- 如果 \(i\to j\) 且 \(j\to i\) ，則稱狀態 \(i\) 和狀態 \(j\) 互達，記為 \(i\leftrightarrow j\) 。
可以證明互達關系是一種等價關系，滿足以下三個性質：
- 自反性：\(i\leftrightarrow j\) ；
- 對稱性：如果 \(i\leftrightarrow j\) ，則 \(j\leftrightarrow i\) ；
- 傳遞性：如果 \(i\leftrightarrow j,\,j\leftrightarrow k\) ，則 \(i\leftrightarrow k\) 。
我們將兩個互達的狀態，稱為屬於同一個互達等價類中。於是，按照互達關系，狀態空間 \(I\) 可以表示成可列個互不相交的互達等價類的並。如果狀態空間 \(I\) 中的任意兩個狀態都是互達的，則稱該馬爾可夫鏈是不可約的。
閉集：設 \(C\subset I\) 是一個互達等價類，如果從 \(C\) 中的任何狀態出發，都無法到達 \(I\setminus C\) 中的狀態，則稱 \(C\) 為閉集。換句話說，如果 \(C\) 是閉集，則對任意 \(i\in C\) 和 \(j\notin C\) ，都有 \(i\not\to j\) 。一般規定空集 \(\varnothing\) 和狀態空間 \(I\) 是閉集。
吸收態：如果閉集 \(C\subset I\) 只有一個狀態 \(i\) ，即 \(C=\{i\}\) ，則稱狀態 \(i\) 為吸收態。吸收態的含義是一旦處於該狀態，它將永遠不會離開。
我們可以舉個例子來理解，設馬爾可夫鏈的狀態空間 \(I=\{1,2,3,4,5,6\}\) ，轉移概率矩陣為
\[P=\left[ \begin{array}{cccccc} \frac12 & \frac12 & 0 & 0 & 0 & 0 \\ \frac14 & \frac34 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & \frac13 & 0 & \frac13 & \frac13 \\ 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 \end{array} \right] \ , \]則該狀態空間可以分為三個互達等價類：\(C_1=\{1,2\},\,C_2=\{3,4,5\},\,C_3=\{6\}\) 。其中 \(C_1\) 和 \(C_3\) 是閉集，因為從 \(C_1\) 或 \(C_3\) 出發不可能到達其他互達等價類。而 \(C_2\) 不是閉集，因為從 \(C_2\) 出發可以到達 \(C_3\) 。此外 \(C_3\) 是吸收態，因為 \(C_3\) 是閉集且只有一個狀態。
Part 2：周期
設 \(i\) 是狀態空間 \(I\) 中的任意一個狀態，定義狀態 \(i\) 的周期為
其中 \(\gcd\) 表示集合中各元素的最大公因子。因此，周期的含義是可達步數的最大公因子，即從 \(i\) 出發只有經過 \(d(i)\) 的整數倍步數后，才有可能以正概率返回 \(i\) 。
如果 \(d(i)=1\) ，則稱狀態 \(i\) 是非周期的。如果對所有的狀態 \(i\in I\) 都是非周期的，則稱此馬爾可夫鏈是非周期的。
如果狀態 \(i\) 是正常返且非周期的，則稱狀態 \(i\) 是遍歷狀態。不可約非周期正常返的馬爾可夫鏈稱為遍歷的馬爾可夫鏈。
定理：如果 \(i\leftrightarrow j\) ，則
- \(i\) 和 \(j\) 具有相同的周期，即 \(d(i)=d(j)\) ；
- \(i\) 是暫留態當且僅當 \(j\) 是暫留態；
- \(i\) 是常返態當且僅當 \(j\) 是常返態；
- \(i\) 是正常返態當且僅當 \(j\) 是正常返態。
該定理說明在同一個互達等價類中，各狀態具有相同的周期和常返性。因此在判斷一個狀態的性質時，我們可以從它的互達等價類中找到一個容易判斷的狀態來進行判斷。