應用隨機過程02：馬爾可夫鏈及其概率分布

目錄

• 第二講 馬爾可夫鏈及其概率分布
  • 一、馬爾可夫鏈的定義
    • Part 1：條件概率
    • Part 2：馬爾可夫鏈的定義
  • 二、轉移概率和轉移矩陣
    • Part 1：轉移概率的定義
    • Part 2：時齊的馬爾可夫鏈
  • 三、有限維分布和 C-K 方程
    • Part 1：C-K 方程
    • Part 2：有限維分布

第二講 馬爾可夫鏈及其概率分布

一、馬爾可夫鏈的定義

Part 1：條件概率

這一章開始之前，我們先對條件概率做一個回顧，這是概率論中非常重要的概念之一。在隨機過程的學習中，馬爾可夫鏈這部分內容就需要充分利用條件概率的相關知識。

條件概率的定義：對於任意兩個事件 \(A\) 和 \(B\) ，假設 \(P(B)>0\) ，則在給定 \(B\) 的條件下，\(A\) 的條件概率為：

\[P(A|B)=\frac{P(AB)}{P(B)} \ . \]

下面我們總結一些和條件概率相關的常用計算公式：

1. 乘法公式：條件概率的定義式可以改寫為

\[P(AB)=P(A|B)P(B) \ . \]

2. 鏈式法則：將乘法公式繼續推廣到多個事件，可以寫為

\[P(A_1A_2\cdots A_n)=P\left(A_1\right)P\left(A_2|A_1\right)P(A_3|A_1A_2)\cdots P\left(A_n|A_1A_2\cdots A_{n-1}\right) \ . \]

3. 全概率公式：設 \(S\) 為樣本空間，事件 \(B_1,B_2,\cdots,B_N\) 為 \(S\) 的一個划分，則對任意事件 \(A\) 有

\[P(A)=\sum_{j=1}^NP(A|B_j)P(B_j) \ . \]

4. 貝葉斯公式：設 \(S\) 為樣本空間，事件 \(B_1,B_2,\cdots,B_N\) 為 \(S\) 的一個划分，則對任意事件 \(A\) 有

\[P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum\limits_{j=1}^NP(A|B_j)P(B_j)} \ . \]

上述公式就是計算條件概率問題中最核心的內容，也是最有效的工具。關於條件概率的知識，我們就復習到這里。由於篇幅所限，關於條件分布的知識我們就默認已經掌握了。

Part 2：馬爾可夫鏈的定義

首先我們定義一種表述方法，考慮只取有限個或可數個值的隨機過程 \(\{X_n:n=0,1,2\cdots\}\) ，若 \(X_n=i\) ，則稱過程在 \(n\) 時刻處於狀態 \(i\) 。下面我們來定義馬爾可夫性和馬爾科夫鏈。

馬爾可夫性：給定過去的狀態 \(X_0,X_1,\cdots,X_{n-1}\) 和現在的狀態 \(X_n\) ，將來的狀態 \(X_{n+1}\) 的條件分布與過去的狀態獨立，只依賴於現在的狀態，這樣的性質稱為馬爾可夫性。

如果我們用 \(A\) 表示過去的狀態，用 \(B\) 表示現在的狀態，而用 \(C\) 表示將來的狀態，即

\[A=\{X_0=i_0,X_1=i_1,\cdots,X_{n-1}=i_{n-1}\} \ , \quad B=\{X_n=i_n\} \ , \quad C=\{X_{n+1}=i_{n+1}\} \ , \]

則馬爾可夫性可以用條件概率直觀表示為

\[P(C|AB)=P(C|B) \ , \]

由此可以等價推出

\[P(AC|B)=\frac{P(ABC)}{P(B)}=\frac{P(AB)P(C|AB)}{P(B)}=P(A|B)P(C|AB)=P(A|B)P(C|B) \ , \]

因此馬爾可夫性也可以理解為在已知現在狀態的條件下，過去與將來相互獨立。

馬爾可夫鏈：設隨機過程 \(\{X_n:n=0,1,2,\cdots\}\) 的狀態空間 \(I\) 有限或可列，如果它具有馬爾可夫性，即對任意的狀態 \(i_0,i_1,\cdots,i_{n-1},i,j\in I\) 和任意的 \(n\geq1\) 有

\[P\left(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\cdots,X_1=i_1,X_0=i_0 \right)=P\left(X_{n+1}=j|X_n=i\right) \ , \]

則稱隨機過程 \(\{X_n:n=0,1,2,\cdots\}\) 是馬爾可夫鏈，簡稱為馬氏鏈。

我們把具有馬爾可夫性的隨機過程稱為馬爾可夫過程。馬爾可夫鏈是離散時間離散狀態的馬爾可夫過程。在后面我們要學到的泊松過程是連續時間離散狀態的馬爾可夫過程，布朗運動是連續時間連續狀態的馬爾科夫過程。

二、轉移概率和轉移矩陣

Part 1：轉移概率的定義

考慮馬爾可夫鏈 \(\{X_n:n=0,1,2,\cdots\}\) 及其狀態空間 \(I=\{i_0,i_1,i_2\cdots,\}\) ，我們將條件概率定義為

\[P(X_{m+n}=j|X_m=i)\xlongequal{def}p_{ij}(m,m+n) \ , \quad i,j\in I \ , \]

用來表示過程在 \(m\) 時刻處於狀態 \(i\) 的條件下，經過 \(n\) 步后轉移到狀態 \(j\) 的轉移概率。 由於概率是非負的，且過程在 \(m\) 時刻從任何一個狀態 \(i\) 出發，到 \(m+n\) 時刻必須轉移到 \(I\) 中的某個狀態，所以有

\[\begin{aligned} &p_{ij}(m,m+n)\geq0 \ , \quad i,j\in I \ ; \quad \sum_{j=0}^\infty p_{ij}(m,m+n)=1 \ , \quad i\in I \ . \end{aligned} \]

這是最一般情況下的轉移概率，在實際應用的時候很少會遇到，所以我們不在此引入轉移概率矩陣的定義。下面我們來介紹一種特殊的馬爾可夫鏈及其轉移概率。

Part 2：時齊的馬爾可夫鏈

時齊的馬爾可夫鏈：如果 \(P(X_{n+1}=j|X_n=i)\) 不依賴於 \(n\) ，則稱過程 \(\{X_n\}\) 是時齊的馬爾可夫鏈。定義馬爾可夫鏈的一步轉移概率為

\[P(X_{n+1}=j|X_n=i)\xlongequal{def}p_{ij} \ , \quad i,j\in I \ . \]

一步轉移概率 \(p_{ij}\) 的含義是處在狀態 \(i\) 的過程下一次轉移到狀態 \(j\) 的概率，顯然一步轉移概率也具有如下性質：

\[p_{ij}\geq0 \ , \quad i,j\in I \ ; \quad \sum_{j=0}^\infty p_{ij}=1 \ , \quad i\in I \ . \]

不妨設狀態空間為自然數集 \(\mathbb{N}=\{0,1,2,\cdots\}\) ，定義一步轉移概率矩陣為

\[P=\left(p_{ij}\right)_{I\times I}=\left[ \begin{array}{cccc} p_{00} & p_{01} & p_{02} & \cdots \\ p_{10} & p_{11} & p_{12} & \cdots \\ \vdots & \vdots & \vdots & \cdots \\ p_{i0} & p_{i1} & p_{i2} & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{array} \right] \ . \]

顯然一步轉移概率矩陣 \(P\) 的所有元素都是非負的，且每一行的元素之和為 \(1\) 。

在馬爾可夫鏈是時齊的情形下，條件概率 \(P(X_{m+n}=j|X_m=i)\) 只與 \(i,j\) 以及時間間隔 \(n\) 有關，定義馬爾可夫鏈的 \(n\) 步轉移概率為

\[P(X_{m+n}=j|X_m=i)\xlongequal{def}p_{ij}^{(n)} \ , \quad i,j\in I \ . \]

其含義是處在狀態 \(i\) 過程將在 \(n\) 次轉移之后處於狀態 \(j\) 的概率。類似的可以定義 \(n\) 步轉移概率矩陣為

\[P^{(n)}=\left(p_{ij}^{(n)}\right)_{I\times I} \ . \]

根據以上定義，如果我們想判斷一個馬爾可夫鏈是時齊的，只需要證明它的一步轉移概率與時間 \(n\) 無關即可。在后面的學習中，我們研究的大部分馬爾可夫鏈都是時齊的，並且多步轉移概率可以由一步轉移概率計算得到，所以這里最重要的兩個概念就是一步轉移概率和一步轉移概率矩陣。

三、有限維分布和 C-K 方程

Part 1：C-K 方程

設 \(\{X_n:n=0,1,\cdots\}\) 是馬爾可夫鏈，狀態空間為 \(I\) ，對任意的 \(n,m,l\geq0\) ，有

\[p_{ij}(n,n+m+l)=\sum_{k\in I}p_{ik}(n,n+m)p_{kj}(n+m,n+m+l) \ , \quad i,j\in I \ . \]

這就是 Chapman-Kolmogorov 方程，簡稱 C-K 方程。

證明：由全概率公式和馬爾可夫性知，

\[\begin{aligned} p_{ij}(n,n+m+l)&=P(X_{n+m+l}=j|X_n=i) \\ \\ &=\sum_{k\in I}P(X_{n+m}=k|X_n=i)P(X_{n+m+l}=j|X_{n+m}=k,X_n=i)\\ \\ &=\sum_{k\in I}P(X_{n+m}=k|X_n=i)P(X_{n+m+l}=j|X_{n+m}=k) \\ \\ &=\sum_{k\in I}p_{ik}(n,n+m)p_{kj}(n+m,n+m+l) \ . \end{aligned} \]

我們可以將 C-K 方程直觀解釋為：過程在時刻 \(n\) 從狀態 \(i\) 出發，經過 \(m+l\) 步到達狀態 \(j\) 的事件，等價於過程在時刻 \(n\) 從狀態 \(i\) 出發，先經過 \(m\) 步到達某個中間狀態 \(k\) ，再從狀態 \(k\) 出發，經過 \(l\) 步到達狀態 \(j\) 的事件的和。

若該馬爾可夫鏈是時齊的，即轉移概率不依賴於初始時刻 \(n\) ，此時我們可以把 C-K 方程改寫為

\[p_{ij}^{(m+l)}=\sum_{k\in I}p_{ik}^{(m)}p_{kj}^{(l)} \ , \quad i,j\in I \ . \]

用轉移概率矩陣可以把 C-K 方程改寫為

\[P^{(m+l)}=P^{(m)}\cdot P^{(l)} \ . \]

特別地，利用數學歸納法可以證明 \(n\) 步轉移概率矩陣是一步轉移概率矩陣的 \(n\) 次方，即

\[ P^{(n)} = P ^n \ . \]

Part 2：有限維分布

這里我們只討論時齊的馬爾可夫鏈，有下列命題成立：時齊馬爾可夫鏈的有限維分布完全由初始分布和一步轉移概率矩陣決定。我們將這個命題分為一維分布和多維分布兩種情況討論。

設 \(\{X_n:n=0,1,\cdots\}\) 是時齊的馬爾可夫鏈，狀態空間為 \(I\) 。首先考慮一維分布，將 \(P(X_0=i),\,i\in I\) 稱為初始分布，將 \(P(X_n=i),\,i\in I\) 稱為第 \(n\) 步分布，則有如下命題成立：

\[P(X_n=j)=\sum_{i\in I}P(X_0=j)p_{ij}^{(n)} \ . \]

如果我們將初始分布和第 \(n\) 步分布記為 \(\mu^{(0)}\) 和 \(\mu^{(n)}\) 並寫為行向量，則上述命題可以表示為：

\[\mu^{(n)}=\mu^{(0)}P^{(n)}=\mu^{(0)}P^{n} \ . \]

證明：由全概率公式知，

\[\begin{aligned} P(X_n=j)&=\sum_{i\in I}P(X_0=i)P(X_n=j|X_0=i) \\ \\ &=\sum_{i\in I}P(X_0=j)p_{ij}^{(n)} \ . \end{aligned} \]

接下來考慮任意 \(k\) 維分布。對任意的 \(n_1<n_2<\cdots<n_k\) ，有如下命題成立：

\[P\left(X_{n_1}=i_1,X_{n_2}=i_2,\cdots,X_{n_k}=i_k\right)=P\left(X_{n_1}=i_1\right)p_{i_1i_2}^{(n_2-n_1)}p_{i_2i_3}^{(n_3-n_2)}\cdots p_{i_{k-1}i_k}^{(n_{k}-n_{k-1})} \ . \]

證明：由條件概率的鏈式法則知，

\[\begin{aligned} \ &P\left(X_{n_1}=i_1,X_{n_2}=i_2,\cdots,X_{n_k}=i_k\right) \\ \\ =\ &P\left(X_{n_1}=i_1\right)P\left(X_{n_2}=i_2|X_{n_1}=i_1\right)\cdots P\left(X_{n_k}=i_k|X_{n_1}=i_1,\cdots,X_{n_{k-1}}=i_{k-1}\right) \\ \\ =\ &P\left(X_{n_1}=i_1\right)P\left(X_{n_2}=i_2|X_{n_1}=i_1\right)\cdots P\left(X_{n_k}=i_k|X_{n_{k-1}}=i_{k-1}\right) \\ \\ =\ & P\left(X_{n_1}=i_1\right)p_{i_1i_2}^{(n_2-n_1)}p_{i_2i_3}^{(n_3-n_2)}\cdots p_{i_{k-1}i_k}^{(n_{k}-n_{k-1})} \ . \end{aligned} \]