一個 Markov 鏈是概率空間上的一個以 \(E\) (至多可數) 為狀態空間的隨機序列 \(\{X_n: n\ge 0\}\), 它滿足 Markov 性和時齊性 (只考慮時齊的情形). 在 Markov 鏈的情形下, Markov 性與強 Markov 性等價.
記轉移概率 \(p^{(n)}_{x,y} = \mathbb P^x(X_n=y)\), 滿足 Chapman-Kolmogorov 方程.
若存在 \(n\ge 0\), 使得 \(p^{(n)}_{x,y}>0\), 則稱 \(x\) 可達 \(y\); 若互相可達則稱互達. 若任意兩狀態互達, 則稱 \(X\) 不可約 (irreducible).
子集 \(C\subset E\) 稱為閉的, if 對任意 \(x\in C\), \(y\notin C\), 有 \(p_{x,y} := p^{(1)}_{x,y}=0\). 等價於對任意 \(x\in C\), 有 \(\sum\nolimits_{y\in C}p_{x,y}=1\). 閉集中任何狀態不能到達閉集外的狀態, 那么 \(X\) 不可約 iff \(E\) 沒有非平凡的閉子集.
記首中時 \(\tau_y = \inf\{n\ge1:X_n=y\}\), 約定 \(\inf\varnothing=\infty\). 記 \(f_{x,y} = \mathbb P^x(\tau_y<\infty)\).
狀態 \(x\) 是常返的, if 滿足下列條件 (這些條件是等價的).
- \(f_{x,x} = 1\);
- \(\mathbb P^x(\limsup\{X_n=x\})=1\);
- \(\sum_n p^{(n)}_{x,y}=\infty\).
否則稱為暫留. 在一個互達等價類中, 要么所有狀態常返, 要么所有狀態暫留.
狀態 \(x\) 的周期記為 \(d(x)\), 為 \(\{n\ge1:p^{(n)}_{x,x}>0 \}\) 的最大公因數, 約定空集時 \(d(x)=0\). 若 \(d(x)=1\), 則稱 \(x\) 是非周期的 (aperiodic).
若 \(X\) 是不可約非周期的 Markov 鏈, 則
- 若 \(x\), \(y\) 互達, 則 \(d(x)=d(y)\).
- 對任意 \(x\), \(y\), 存在 \(N\), 對任意 \(n>N\), 有 \(p^{(n)}_{x,y}>0\).
若 \(\mathbb E^x \tau_x<\infty\), 則稱 \(x\) 正常返, 否則稱為零常返.
若 \(x\) 常返, 且 \(\lim_n p^{(n)}_{x,x}\) 存在, 則這個極限等於 \(1/\mathbb E^x \tau_x\).
\(E\) 上一個概率分布 \((\pi_x:x\in E)\) 是轉移矩陣 \(P\) 的平穩分布, if \(\pi P=\pi\) (把 \(\pi\) 看作行向量).
一個不可約非周期 Markov 鏈 \(X\) 有平穩分布 \(\pi\), 則
- \(X\) 常返;
- 對任意 \(x\), \(y\), \(\lim_n p^{(n)}_{x,y}=\pi_y\), 平穩分布是唯一的;
- 對任意 \(x\), \(\pi_x>0\).
例題. 來自 [1] p. 116 第 11 題, 原題可能是來自 Dimitri P. Bertsekas 的那本 Introduction to Probability.
An absent-minded professor has \(r\) umbrellas, used when commuting from home to work and back. If it rains and an umbrella is available, the professor takes it. If no umbrella is available, the professor gets wet. If it does not rain, the professor does not take the umbrella. It rains on a given commute with probability \(p\), independently for all days.
(1) What is the steady-state probability that the professor will get wet on a given day?
(2) Show that for any \(p\), 5 umbrellas can make sure that the professor does not get wet with probability greater than 0.95.
Solution. 用 \(X_n\) 表示他第 \(n\) 次出門時手邊的傘的數目, 則這是一個不可約 Markov 鏈.
\(p_{0,r}=1\).
\(p_{x,r-x} = 1-p\), \(p_{x,r+1-x} = p\), for \(x=1,\dots,r\).
\(\pi_0=(1-p)\pi_r\),
\(\pi_x=(1-p)\pi_{r-x}+p\pi_{r+1-x}\), for \(x=1,\dots,r-1\),
\(\pi_r=\pi_0+p\pi_1\).
可得平穩分布
\(\pi_0 = (1-p)/(1+r-p)\),
\(\pi_x = 1/(1+r-p)\) for \(x = 1,\dots,r\).
故淋濕的極限為 \(p(1-p)/(1+r-p)\).
5 把傘淋濕概率最大約為 0.0455.
References
[1] 應堅剛, 金蒙偉. (2017). 隨機過程基礎 (第二版) (pp. 98-116). 上海: 復旦大學出版社.