應用隨機過程04：馬爾可夫鏈的平穩分布

目錄

• 第四講 馬爾可夫鏈的平穩分布
  • 一、平穩分布
    • Part 1：平穩分布
    • Part 2：不可約馬爾可夫鏈的性質
    • Part 3：極限分布
  • 二、狀態空間的分解
    • Part 1：狀態空間的分解
    • Part 2：有限狀態空間的分解
    • Part 3：吸收概率和平均吸收時間

第四講 馬爾可夫鏈的平穩分布

一、平穩分布

Part 1：平穩分布

嚴平穩過程：設 \(\{X_n:n\geq0\}\) 是一個隨機過程，如果對任意 \(n\geq0\) 和 \(m\geq1\) ，有

\[\left(X_m,X_{m+1},\cdots,X_{m+n}\right)\xlongequal{d}\left(X_0,X_{1},\cdots,X_{n}\right) \ , \]

則稱 \(\{X_n:n\geq0\}\) 是嚴平穩過程。即隨機過程的任意有限維分布不依賴於時間。

設 \(\{X_n\}\) 是時齊的馬爾可夫鏈，如果 \(\{X_n\}\) 是嚴平穩過程，則稱 \(\{X_n\}\) 具有平穩分布。這里我們只需考慮初始分布和一步之后的分布相同的情況，因為由此可以推出任意步之后的分布都和初始分布相同。

設初始分布為 \(\pi=(\pi_1,\pi_2,\cdots,\pi_N)\) ，一步轉移矩陣為 \(P=(p_{ij})_{N\times N}\) ，則一步之后的分布為 \(\pi P\) 。因此 \(\{X_n\}\) 具有平穩分布當且僅當 \(\pi=\pi P\) ，此時我們稱 \(\pi\) 為 \(\{X_n\}\) 的平穩分布。

設 \(\{X_n\}\) 具有平穩分布，如果我們想要求出平穩分布，需要求解下列具有約束條件的線性方程組：

\[\left\{\begin{array}{l} \displaystyle\sum_{i=1}^N\pi_ip_{ij=\pi_j} \ , \quad j=1,2,\cdots,N \ , \\ \displaystyle\sum_{i=1}^N\pi_i=1 \ , \\ \pi_i\geq0 \ , \quad i=1,2,\cdots,N \ . \end{array} \right. \]

注意，馬爾可夫鏈的平穩分布不一定是唯一的，與上述方程組的解的情況有關。

Part 2：不可約馬爾可夫鏈的性質

這里我們就列出幾個定理而不給出證明了。

定理：不可約馬爾可夫鏈的性質

1. 如果 \(\{X_n\}\) 不可約非周期，則 \(\{X_n\}\) 存在平穩分布當且僅當 \(\{X_n\}\) 正常返，此時平穩分布 \(\pi\) 唯一且 \(\pi_i=\dfrac1{\mu_i}\) 。
2. 如果非周期不可約正常返，即 \(\{X_n\}\) 遍歷，則對任何 \(i,j\in I\) ，都有 \(\displaystyle\lim_{n\to\infty}p_{ij}^{(n)}=\pi_j\) 。
3. 如果狀態空間 \(I\) 有限，則 \(\{X_n\}\) 一定正常返。

定理：常返和暫留的其他性質

1. 如果狀態空間 \(I\) 有限，則狀態 \(i\) 常返當且僅當 \(i\) 的互達等價類是閉集，並且此時 \(i\) 是正常返。
2. 如果 \(j\) 暫留或零常返，則對任意 \(i\) 都有 \(\displaystyle\lim_{n\to\infty}p_{ij}^{(n)}=0\) 。

推論：正常返和零常返的等價描述

1. 狀態 \(i\) 正常返當且僅當 \(\displaystyle\lim_{n\to\infty}\frac1n\sum_{k=1}^np_{ii}^{(k)}=\frac1{\mu_j}>0\) 。
2. 狀態 \(i\) 零常返當且僅當 \(\displaystyle\sum_{n=1}^\infty p_{ii}^{(n)}=\frac1{\mu_j}>0\) 。

Part 3：極限分布

對於時齊的馬爾可夫鏈 \(\{X_n\}\) ，如果存在狀態空間 \(I\) 上的概率分布 \(\mu=(\mu_i:i\in I)\) ，使得對所有狀態 \(i\in I\) 都有概率分布 \(\displaystyle\lim_{n\to\infty}P(X_n=i)=\mu_i\) ，則稱 \(\mu\) 是 \(\{X_n\}\) 的極限分布。

需要注意兩點：

1. 極限分布可以不存在。
2. 極限分布可以依賴於初始分布。

對於時齊的馬爾可夫鏈 \(\{X_n\}\) ，在已知初始分布 \(\mu^{(0)}\) 和轉移概率矩陣 \(P\) 的情況下，想要計算該馬爾可夫鏈的極限分布，只需要計算 \(\displaystyle\lim_{n\to\infty}P^{(n)}=\lim_{n\to\infty}P^{n}\) ，從而有

\[\mu=\mu^{(0)}\cdot\lim_{n\to\infty} P^{n} \ . \]

根據線性代數的知識，我們可以通過計算矩陣特征值的方法得到 \(\displaystyle\lim_{n\to\infty}P^{n}\) 的結果但在這里我們不做要求。思考一個問題：極限分布和平穩分布之間是否存在什么樣的關系？

一般情況下，極限分布與平穩分布之間沒有必然聯系，但在一些特殊條件的約束下，我們常常有極限分布與平穩分布是相同的。此時我們就可以通過求解平穩分布的方法，計算出極限分布。

定理：若 \(\{X_n\}\) 是不可約非周期的馬爾可夫鏈，轉移概率矩陣為 \(P\) ，則該馬爾可夫鏈存在極限分布當且僅當存在平穩分布，並且兩者相等。

二、狀態空間的分解

Part 1：狀態空間的分解

這里我們需要了解兩個定理。

定理：如果 \(i\in I\) 常返，則 \(i\) 的互達等價類 \(C_i=\{j\in I:i\leftrightarrow j\}\) 是閉集。

采用反證法。假設 \(C_i\) 不是閉集，則存在 \(j\in C_i\) 和 \(k\notin C_i\) 使得 \(j\to k\) 。注意到 \(k\not\to j\) ，否則 \(k\leftrightarrow j\) 進而 \(k\in C_i\) 。這樣有 \(i\to j,\,j\to k\) 但 \(k\not\to i\) ，即從 \(i\) 出發的過程，存在一個正的概率進入狀態 \(k\) 之后不再返回狀態 \(i\) ，所以 \(i\) 不是常返態，矛盾。

定理：狀態空間的分解定理：

\[I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , \]

其中 \(C_i\) 表示常返狀態互達等價類，\(T\) 表示所有暫留態的全體。由第一個定理可知，不同常返狀態互達等價類是互不相交的閉集。這里 \(k\) 可以取 \(+\infty\) 。

Part 2：有限狀態空間的分解

利用不可約馬爾可夫鏈的性質，我們再看馬爾可夫鏈狀態空間的分解定理，

\[I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , \]

這次我們限制狀態空間 \(I\) 是有限的，則這里的每個集合都是有限集，其中 \(C_1,C_2,\cdots,C_k\) 是所有的常返的互達等價類且是閉集，\(T\) 是余下的所有暫留態的全體，這里 \(k\) 一定是有限數。我們有如下結論：

1. 互達等價類 \(C_1,C_2,\cdots,C_k\) 中的各狀態都是正常返的。
2. 如果 \(X_0\in C_i\) 中，則該馬爾可夫鏈將永遠不會離開 \(C_i\) 。可以縮小狀態空間，把 \(\{X_n\}\) 限制在 \(C_i\) 上得到一個狀態空間為 \(C_i\) 的不可約正常返的馬爾可夫鏈。
3. 如果 \(X_0\in T\) ，則該馬爾可夫鏈最終會進入某個 \(C_i\) 並將永遠不會離開。

Part 3：吸收概率和平均吸收時間

這里我們主要介紹一種分析方法——一步分析法。首先我們了解一下我們需要研究的問題，考慮有限狀態空間的馬爾可夫鏈，根據上述定理，可以將狀態空間分解為

\[I=C_1\cup C_2\cup\cdots\cup C_k\cup T \ , \]

其中 \(C_1,C_2,\cdots,C_k\) 是正常返的互達等價類，\(T\) 是暫留態的全體。

定義 \(a_i=P\left(T_{C_1}<\infty|X_0=i\right)\) ，表示從狀態 \(i\) 出發在有限步內進入閉集 \(C_1\) 的概率，則有

\[a_i=\left\{ \begin{array}{ll} 1 \ , & i\in C_1 \ , \\ 0 \ , & i\in C_j \ , \ \ j\neq 1\ , \\ \sum\limits_{j}p_{ij}a_j \ , & i\in T \ . \end{array} \right. \]

令 \(i\) 取遍 \(T\) 中所有的暫留態，便可以得到一個線性方程組，進而我們便可以解出從任意狀態 \(i\) 出發在有限步內進入 \(C_1\) 的概率，同理也可以解出進入其他閉集 \(C_i\) 的吸收概率。

由於馬爾可夫鏈一旦進入某個 \(C_i\) 之后將永遠不會離開 \(C_i\) ，所以我們一般研究從某個暫留態 \(i\in T\) 出發，最終被某個 \(C_i\) 吸收概率，這就是吸收概率問題。

接下來我們研究平均吸收時間問題。定義 \(h_i={\rm E}\left(T_C|X_0=i\right)\) ，表示從狀態 \(i\) 出發進入集合 \(C\) 的平均時間，這里不妨設正常返態的全體為 \(C\xlongequal{def}C_1\cup C_2\cup\cdots\cup C_k\) ，則有

\[h_i=\left\{ \begin{array}{ll} 0 \ , & i\in C \ , \\ \sum\limits_{j}p_{ij}(1+h_j)=1+ \sum\limits_{j}p_{ij}h_j \ , & i\in T \ . \end{array} \right. \]

同理我們令 \(i\) 取遍 \(T\) 中所有的暫留態，便可以通過求解線性方程組，解得從任意狀態 \(i\) 出發進入集合 \(C\) 的平均時間。

可以看到，一步分析法的基本思想就是全概率公式。當馬爾可夫鏈存在多個閉集時，我們可以利用馬爾可夫性和全概率公式，利用一步分析法建立線性方程組，從而計算被某一個特定閉集吸收的吸收概率和平均吸收時間。一般情況下，一步分析法常應用於狀態空間中存在吸收態的情況。常見的例子有賭徒輸光問題和迷宮老鼠問題，可以在課本中找到。這里我們看一個特殊的例子。

股票價格問題：用 \(X_n\) 表示 \(n\) 時刻某只股票的價格，設 \(\{X_n\}\) 是一個時齊馬爾可夫鏈，狀態空間為 \(I=\{1,2,3,4,5\}\) ，一步轉移矩陣為

\[P=\left[\begin{array}{ccccc} \frac12 &\frac12 & 0 & 0 & 0 \\ \frac13 & \frac13 & \frac13 & 0 & 0 \\ 0 & \frac14 & \frac14 & \frac12 & 0 \\ 0 & 0 & \frac12 & \frac14 & \frac14 \\ 0 & 0 & \frac18 & \frac48 & \frac38 \\ \end{array}\right] \ . \]

已知初始分布為 \(P(X_0=2)=\dfrac34,\,P(X_0=3)=\dfrac14\) 。

(1) 求股票價格在漲到 \(4\) 元之前不曾跌倒 \(1\) 元的概率。

(2) 求股票價格到達 \(4\) 元的平均時間。

解：(1) 所求概率為 \(P(T_4<T_1)\) 。注意到，該值與到達 \(1\) 或到達 \(4\) 之后的過程沒有關系，即我們所關心的問題在股票價格到達 \(1\) 或 \(4\) 之后便停止研究，所以我們可以將 \(1\) 和 \(4\) 看成吸收態。

定義 \(a_i=P(T_4<T_1|X_0=i)\) ，則 \(a_1=0,\,a_4=1\) 。由題意知以下方程組成立：

\[\left\{ \begin{array}{l} a_2=\dfrac13 a_1+\dfrac13 a_2+\dfrac13a_3\ , \\ a_3=\dfrac14a_2+\dfrac14a_3+\dfrac12a_4 \ , \end{array}\right. \]

解得 \(a_2=\dfrac25,\,a_3=\dfrac45\) ，所以由全概率公式可得

\[P(T_4<T_1)=\sum_{i=1}^4P(X_0=i)P(T_4<T_1|X_0=i)=\frac34\times\frac25+\frac14\times\frac45=\frac12 \ . \]

(2) 所求時間為 \({\rm E}(T_4)\) ，同理該值與到達 \(4\) 之后的過程沒有關系，所以我們將 \(4\) 看成吸收態。

定義 \(h_i={\rm E}(T_4|X_0=i)\) ，則 \(h_4=0\) ，由題意知以下方程組成立：

\[\left\{ \begin{array}{l} h_1=1+\dfrac12h_1+\dfrac12h_2\ , \\ h_2=1+\dfrac13h_1+\dfrac13h_2+\dfrac13h_3\ , \\ h_3=1+\dfrac14h_2+\dfrac14h_3+\dfrac12h_4 \ , \end{array}\right. \]

解得 \(h_1=\dfrac{23}2,\,h_2=\dfrac{19}2,\,h_3=\dfrac92\) ，所以由全概率公式/全期望公式可得

\[{\rm E}(T_4)=\sum_{i=1}^4P(X_0=i){\rm E}(T_4|X_0=i)=\frac34\times\frac{19}2+\frac14\times\frac92=\frac{33}{2} \ . \]