鞅在一類圖上隨機游走問題中的應用

然后水了一篇概率論課程論文

1 引言

圖上隨機游走問題是一類比較經典而難解決的概率期望問題，然而，由於隨機過程的模型變化多端，因此較難找到突破口。除了朴素高斯消元外沒有較為通用且快速的算法，從而無從下手。隨機過程中的鞅是研究停時問題的有力工具，是解決這一類問題的重要理論。本文將首先介紹鞅的停時定理，並用其分析一類具有特殊性質的圖上隨機游走的期望步數問題，最終得到了遞推公式。

2 鞅與停時定理

2.1 隨機過程

2.1.1 測度空間

測度空間一般用三元組 \((X,\mathcal{A},\mu)\) 表示。其中 \(X\) 是一個非空集合；\(\mathcal{A}\) 是 \(X\) 的子集構成的且且滿足對交並補運算封閉的集族；而 \(\mu\) 為 \((X,\mathcal{A})\) 上的一個測度。

若\(\mu : \mathcal{A} \rightarrow \mathbb{R}\) 是可測空間 \((X,\mathcal{A})\) 上的一個測度，則 \(\mu\) 滿足：

• 非負性：對任意 \(E \in \mathcal{A}\)，滿足 \(\mu(E)\ge 0\)。
• 空集測度為零：\(\mu(\varnothing)=0\)。
• 可數可加性：若 \(\{E_i\}_{i=1}^{\infty}\) 滿足 \(\forall i\neq j\)，\(E_i \cup E_j = \varnothing\)，則 \(\mu\left(\bigcup\limits_{i=1}^{\infty}E_i\right)=\sum\limits_{i=1}^{\infty}\mu(E_i)\)。

2.1.2 概率空間

概率空間 \((\Omega,\mathcal{F},P)\) 是一個測度為 \(1\) 的測度空間，即 \(P(\Omega)=1\)。其中 \(\Omega\) 稱為樣本空間，其中的元素 \(\omega\) 稱為樣本點或基本事件。\(\mathcal{F}\) 是 \(\Omega\) 上滿足對交並補運算封閉的事件集合，其中的元素 \(\Sigma\) 稱為事件，滿足 \(\Sigma \subset \Omega\)。

\(P\) 是在可測空間 \((\Omega,\mathcal{F})\) 上定義的 概率測度，簡稱概率。在離散形式下滿足：

\[P(\mathcal{A})=\sum_{\omega \in \mathcal{A}}p(\omega) \]

其中 \(p(\omega)\) 是概率質量函數(相對於概率密度函數)。

2.1.3 隨機過程

設在概率空間 \((\Omega,\mathcal{F},P)\) 上，對於一個指標集合 \(T\) 的任意元素 \(t \in T\)，均定義有一個隨機變量 \(\xi_t(\omega)\)，則變量族 \(\{\xi_t(\omega)|t\in T\}\) 稱為隨機過程。指標集合 \(T\) 一般為整數集或實數集。

由於本文只研究離散時間的隨機過程，可以取 \(T=\mathbb{N}\)。

2.2鞅與停時問題

2.2.1 鞅

若隨機過程 \(X=\{X_n,n\ge 0\}\) 稱為鞅，則滿足：

• 對 \(\forall n \ge 0\)，有 \(E(|X_n|)<\infty\)。
• 對 \(\forall n \ge 0\)，有 \(E(X_{n+1}|X_0,X_1,\cdots,X_n)=X_n\)。

其中 \(E(X|Y)\) 表示條件期望。

從直觀上，如果把隨機變量的下標表示為時間，已知之前所有觀測值，若下一次觀測值的條件期望等於本次觀測值，則稱這一隨機過程（即隨機變量序列）是離散時間鞅。

更一般地，若隨機過程 \(Y=\{Y_n|n\ge 0\}\) 滿足：

• 對 \(\forall n \ge 0\)，有 \(E(|Y_n|)<\infty\)。
• 對 \(\forall n \ge 0\)，有 \(E(Y_{n+1}|X_0,X_1,\cdots,X_n)=Y_n\)。

則稱隨機過程 \(Y\) 是 \(X\) 的鞅。

2.2.2 停時

若對於一個隨機過程 \(X=\{X_n,n\ge 0\}\)，隨機變量 \(T\) 為非負整數，而事件 \({T=n}\) 的指示函數 \(I_{t=n}(X)\) 只與 \(X_0,X_1,\cdots,X_n\) 有關，則稱 \(T\) 為隨機過程 \(X\) 的隨機時刻。

並且，若隨機時刻 \(T\) 同時滿足 \(P(T<\infty )=1\)，則稱 \(T\) 為隨機過程 \(X\) 的停時。

2.2.3 停止過程

若 \(T\) 是隨機過程 \(X=\{X_n|n\ge 0\}\) 的停時，且令

\[\bar{X_n}= \begin{cases} X_n&n\le T\\ X_T&n>T \end{cases} \]

則稱 \(\{\bar{X_n}\}\) 為停止過程。

容易證明，若 \(X\) 是鞅，則 \(\bar{X}\) 也是鞅。

2.2.4 停時定理

設 \(X=\{X_n|n\ge 0\}\) 是一個離散時間鞅，\(T\in \mathbb{N}\cup\infty\) 是停時，若下列條件之一成立：

• \(T\) 有界。
• \(\bar{X_n}\) 一致有界。
• \(E(T)<\infty\) 且\(E(|X_{n+1}-X_n||X_0,\cdots,x_n)\) 有界。

則有

\[E(X_T)=E(X_0) \]

更一般地，若 \(\mathcal{F}=\{\mathcal{F}_n|n\ge 0\}\) 是一個非降\(\sigma\)-代數族，\(X=\{X_n|n\ge 0\}\)，\(X\) 與 \(T\) 是關於 \(\mathcal{F}\) 的鞅和停時，則若有下列條件之一成立：

• \(T\) 幾乎處處有界。
• 存在 \(c\in\mathbb{N}\) 使得 \(\forall T\in \mathbb{N}\)，\(|X_{n\cap T}\le c|\) 幾乎處處成立。
• \(E(T)<\infty\) 且存在 \(M<\infty\) 使得 \(E(|X_{n+1}-X_n||\mathcal{F}_n)<M\)。

則有

\[E(X_T)=E(X_0) \]

鞅的停時定理說明，即使隨機過程非常復雜，甚至可能趨向無窮，只要滿足某些條件，
那么還是可以得到終態的某些性質。

3 一類圖上隨機游走問題

3.1 圖上隨機游走

一個圖上隨機游走問題可以用一個四元組 \((V,E,S,T)\) 描述，其中 \(V\) 是一個集合，表示圖的節點；\(E\) 是 \(V\) 上的一個二元關系，表示圖的邊；\(S\)，\(T\) 均是 \(V\) 中的元素，分別表示游走的起始節點與終止節點。

設隨機過程 \(X=\{X_n,n\ge 0\}\) 表示時刻 \(n\) 游走到的節點，滿足：

• \(X_0=S\)。
• \(P(X_{n+1}=x|X_0,\cdots,X_n)=\begin{cases}\frac{1}{|\mathcal{E}_{X_n}|}&x\in\mathcal{E}_{X_n}\\0&\texttt{others}\end{cases}\)

其中 \(\mathcal{E}_u=\bigcup\limits_{\langle u,v\rangle\in E}\{v\}\)。表示 \(x\) 的所有出邊對應的節點集合。

則隨機過程 \(X_n\) 稱為圖上隨機游走 \((V,E,S,T)\)。

3.1.1 圖上隨機游走的停時

若圖上隨機游走 \(X=(V,E,S,T)\) ，則隨機變量 \(D=\min\limits_{X_n=T}\{n\}\) 稱為隨機游走 \(X\) 的停時。具體問題中，一般只關注停時的數學期望 \(E(D)\)。

3.2 計算停時的通用方法

設隨機過程 \(X=\{X_n|n\ge 0\}\) 的停時為 \(T\)。直接計算 \(E(T)\) 通常比較困難。

考慮構造勢函數 \(\phi(x)\) 滿足：

• \(E(\phi(X_{n+1})-\phi(X_n)|X_0,\cdots,X_n)=-1\)。
• \(\phi(X_T)<\infty\)。

令 \(Y_n=\phi(X_n)+n\)，則有

\[E(Y_{n+1}|Y_0,\cdots,Y_n)=Y_n \]

即 \(Y=\{Y_n|n\ge 0\}\) 是鞅，根據停時定理有

\[E(Y_T)=E(Y_0) \]

即

\[E(T)=\phi(X_0)-\phi(X_T) \]

3.3 部分特殊圖上隨機游走停時的計算

3.3.1 例1

設一個有 \(n+1\) 個節點的圖編號為 \(1\) 到 \(n+1\)，對於編號小於等於 \(n\) 的節點均有一個自環和一條到 \(n+1\) 的邊，形如

該圖上隨機游走 \(1\) 到 \(n+1\) 的停時記作 \(T\)。

構造 \(\phi(n)=-2n\)。

\[\begin{align*} E(\phi(X_{n+1})-\phi(X_{n})|X_0,\cdots,X_n)&=\frac{1}{2}(-2n-2(n+1))-(-2n)\\ &=-1 \end{align*} \]

所以 \(E(T)=\phi(0)-\phi(n)=2n\)。

3.3.2 例2

在例1的基礎上將除了1號節點的自環改為向 \(n-1\) 的邊，形如

同理，構造 \(\phi(n)=-n(n+1)\)。

\[\begin{align*} E(\phi(X_{n+1})-\phi(X_{n})|X_0,\cdots,X_n)&=\frac{1}{2}(-(n+1)(n+2)-2(n-1)n)+n(n+1)\\ &=-1 \end{align*} \]

所以 \(E(T)=\phi(0)-\phi(n)=n(n+1)\)。

3.3.3 例3

在例1的基礎上將自環改為向1號節點的邊，形如

構造 \(\phi(n)=2-2^{n+1}\)。

\[\begin{align*} E(\phi(X_{n+1})-\phi(X_{n})|X_0,\cdots,X_n)&=\frac{1}{2}(-(2-2^1)-(2-2^{n+2})-(2-2^{n+1})\\ &=-1 \end{align*} \]

所以 \(E(T)=\phi(0)-\phi(n)=2^{n+1}-2\)。

3.4 更一般的結論

設在一條長度為 \(n+1\) 的鏈的基礎上，還有若干條返祖邊 \(\langle u,v\rangle\) 滿足 \(u\le v\)。由於每個節點的出邊情況並不相同，所以 勢函數 \(\phi(x)\) 很難直接寫出。

但為了構造使得 \(\phi(X_n)+n\) 是鞅，我們可以知道：

\[\begin{align*} E(\phi(X_{n+1})-\phi(X_n)|X_0,\cdots,X_n) &= \frac{1}{|\mathcal{E}_{X_n}|}\sum_{x\in \mathcal{E}_{X_n}}\left(\phi(X_n)-\phi(x)\right) \\ &= \phi(X_n)-\frac{1}{|\mathcal{E}_{X_n}|}\sum_{x\in \mathcal{E}_{X_n}}\phi(x))\\ &= -1 \end{align*} \]

又 \(X_{n}+1 \in \mathcal{E}_{X_n}\)，所以

\[\phi(n+1)=\phi(n)+|\mathcal{E}_{n}|+\sum\limits_{x\in\mathcal{E}_n,x\neq n+1}(\phi(n)-\phi(x)) \]

令 \(\phi(1)=0\)，於是有遞推式

\[E(T)=\phi(n+1)= \begin{cases} 0&n=1\\ (\phi(n)+1)|\mathcal{E}n|-\sum\limits_{x\in\mathcal{E}_n,x\neq n + 1}\phi(x)&n>1 \end{cases} \]

References

• [1] 彭博, 奧林匹克信息學競賽國家集訓隊論文集, 2021.
• [2] Wikipedia, the free encyclopedia, "Martingale",
  https://en.wikipedia.org/wiki/Martingale_(probability_theory)
• [3] Wikipedia, the free encyclopedia, "Probability space",
  https://en.wikipedia.org/wiki/Probability_space
• [4]{ Wikipedia, the free encyclopedia, "Measure space",
  https://en.wikipedia.org/wiki/Measure_space