11. 馬爾科夫鏈
\(X_0,X_1,...,X_n\)，\(n\)表示時間，如果\(X_0, ...X_n\)都是獨立的，那么這個假設限制性太大，不能對現實世界建模。而如果\(X_0, ...X_n\)彼此可以任意交互影響，那么模型太難計算。馬爾科夫鏈是單步影響（one-step dependence）的序列，一個折中的假設。
11.1 馬爾科夫性質和轉移矩陣
馬爾科夫鏈存在時間和空間中，\(X_n\)的可能取值是狀態空間，\(n\) 是轉移過程的時間。時空都是可離散、可連續。現只討論離散空間、離散時間、有限狀態空間的情形。
定義11.1.1：對於取值空間是\(\{1,2,...,M\}\)的隨機變量序列\(X_0,X_1,...,X_n\)，如果對於所有\(n>0\)，存在
，那么這個序列就是馬爾科夫鏈。\(P(X_{n+1}=j|X_n=i)\)被稱為轉移概率。本討論中如果沒有明確說明，默認馬爾科夫鏈是時間同性的（time-homogeneous ）,即對於所有時間\(n\)，轉移概率都是相同的。
以上等式即是馬爾科夫性質，即只有\(X_{n-1}\)影響到\(X_n\)。如果\(n\)代表現在，\(n\)之前代表過去，\(n\)之后代表未來，那么馬爾科夫性質表示過去和未來是條件獨立的。
為了描述馬爾科夫鏈的過程，我們必須知道轉移概率\(P(X_{n+1}=j|X_n=i)\)，轉移概率編碼在轉移矩陣里。
定義11.1.2：\(X_0,X_1,...,X_n\)是取值空間為\(\{1,2,...,M\}\)的馬爾科夫鏈，\(q_{ij}=P(X_{n+1}=j|X_n=i)\)是從\(i\)到\(j\)的轉移概率，那么\(M \times M\)矩陣\(Q=(q_{ij})\)是其轉移矩陣。
注意，\(Q\)是非負矩陣，且每行的和為1。
例11.1.3：（晴天雨天）假設對於任一天，天氣只能是晴天或雨天（rainy or sunny ）。如果今天雨，那么明天雨概率\(1/3\)，明天晴概率\(2/3\)。如果今天晴，明天雨概率\(1/2\)，明天晴概率\(1/2\)。\(X_n\)表示\(n\)天的天氣，那么\(X_0,X_1,...,X_n\)時空間狀態為\(\{R,S\}\)的馬爾科夫鏈。那么其轉移矩陣是：
也可以用轉移狀態圖表示。
如果明天天氣取決於昨天和今天的天氣，比如，如果連續兩天晴天，下一天必然是雨天，如果連續兩天雨天，下一天必是晴天。那么為了符合馬爾科夫性質，狀態空間變為\(\{(R,R),(R,S),(S,R),(S,S)\}\)，相應的狀態轉移矩陣也會變化。
定義11.1.4：\(n\)步轉移概率。從\(i\)經過\(n\)步后變為\(j\)的概率，用\(q_{ij}^{(n)}\)表示：
注意
等式右邊是\(Q^2\)矩陣的第\((i,j)\)項，所以\(Q^2\)給出了\(2\)步的轉移矩陣。歸納可知，\(q_{ij}^{(n)}是Q^n的第(i,j)項\)。
計算\(X_0,X_1,...,X_n\)的邊緣分布需要轉移矩陣和初始狀態。初始狀態\(X_0\)可以指定，也可以根據分布隨機選取，假設\((t_1, t_2,...t_M)\)是\(X_0\)的\(PMF\)，即\(t_i=P(X_0=i)\)，那么邊緣分布可以如下計算。
定理11.1.6：\(X_n\)的邊緣分布。令\(\textbf{t}=(t_1,t_2,...,t_M)\)，其中\(t_i=P(X_0=i)\)，\(\textbf{t}\)是行向量，\(X_n\)的邊緣分布是\(\textbf{t}Q^n\)，即\(\textbf{t}Q^n\)的第\(j\)項是\(P(X_n=j)\)。
證明：
11.2 狀態的分類
馬爾科夫鏈的狀態可以根據其在長期的過程中經常出現或者不出現，分為周期性的（recurrent）和瞬時的（transient）。狀態也可以用周期（period）分類，即兩次在同一個狀態之間的時間。
如上圖，1、2、3是瞬時的（transient）狀態，4、5、6是周期性（recurrent）狀態。
定義11.2.1：從狀態\(i\)出發，最終回到狀態\(i\)的概率是1，那么狀態\(i\)就是周期性狀態，否則，就是暫時性狀態，即說從狀態\(i\)出發后無法回到狀態\(i\)的概率是正值。或者說，只要永遠離開狀態\(i\)的概率是正值，那么一定會永遠離開狀態\(i\)，離開狀態\(i\)之前回到狀態\(i\)的次數其實就是幾何分布，\(Geom(p)\)。
定理11.2.2：回到暫時狀態\(i\)的次數是幾何分布。\(i\)是馬爾科夫鏈的暫時性狀態，從\(i\)出發后無法回到\(i\)的狀態是正值\(p\)，\(p>0\)。那么離開狀態\(i\)前，從狀態\(i\)出發又回到狀態\(i\)的次數是幾何分布\(Geom(p)\)。
即只要有概率走上不歸路，那么它一定會走上不歸路，所以才叫暫時性狀態。走上不歸路前徘徊的次數是幾何分布。
方便的話，畫出狀態轉移圖如上圖，即可對狀態進行分類。
定義11.2.3：轉移矩陣為\(Q\)的馬爾科夫鏈，如果對於任意兩個狀態\(i\)和\(j\)，都能在有限的時間步中從狀態\(i\)轉移到狀態\(j\)（即轉移概率是正值），那么該鏈就是不可約的（irreducible）鏈。或者說，對於任意\(i\)、\(j\)，存在正整數\(n\)使得\(Q^n\)的\((i,j)\)項為正值。不是不可約的馬爾科夫鏈，即可約的（reducible）馬爾科夫鏈。
定理11.2.4：不可約的馬爾科夫鏈的所有狀態都是周期性狀態。
但是反過來不成立，因為有可能可約的馬爾科夫鏈的所有狀態都是周期性的。反例如圖。
例11.2.5：賭徒的毀滅
例11.2.6：收集優惠券
另一種分類方式是根據狀態的持續時間。
定義11.2.8：狀態\(i\)的周期（period），即從狀態\(i\)出發再回到狀態\(i\)的所有可能的步數的最大公約數。如果狀態\(i\)的周期是1，那么狀態\(i\)是非周期性的，否則就是周期性的。如果一個馬爾科夫鏈的所有狀態\(i\)都是非周期性的，那么這條鏈就是非周期性的。
定理11.2.9：不可約的馬爾科夫鏈的所有狀態都有相同的周期。
11.3 Stationary distribution 定常分布/平穩分布
最開始時間，馬爾科夫鏈可能會在暫時性狀態中，但最終，馬爾科夫鏈一直都在周期性狀態中。那么在每個周期性狀態的時間分布是怎么樣的？定常分布就是回答這個問題的。
定常分布描述了長期運行中，馬爾科夫鏈在每個定常狀態的概率，和待在每個定常狀態花的時間。
定義11.3.1：定常狀態。對於行向量\(\textbf{s}=(s_1,s_2,...s_M)\)，其中\(s_i \geq 0且 \sum_{i}{s_i}=1\)，如果對於馬爾科夫鏈的轉移矩陣，對於所有\(j\)存在
即，
那么\(\textbf{s}\)就是一個定常分布。
\(\textbf{s}\)是\(X_0\)的分布，那么\(\textbf{s}Q\)是\(X_1\)的分布，也是\(\textbf{s}\)，同樣地，\(X_2,X_3\)分布都是\(\textbf{s}\)。即，如果馬爾科夫鏈的初始狀態是定常分布，那么永遠都是定常分布。
\(\textbf{s}\)是\(Q\)的特征為1的左特征向量。
11.3.1 存在性和唯一性
對於有限狀態空間的馬爾科夫鏈，定常分布一定存在。對於不可約的馬爾科夫鏈，定常分布是唯一的。
定理11.3.5：定常分布的存在性和唯一性。對於不可約的馬爾科夫鏈，存在唯一的定常分布，且其中的每個狀態都是正的概率。
11.3.2 收斂性
定理11.3.6：\(X_0,X_1,...\)是不可約、非周期的馬爾科夫鏈，其定常分布是\({\textbf{s}}\)，轉移矩陣是\(Q\)。那么隨着\(n\to \infty\)，\(P(X_n=i)\)收斂於\(s_i\)。也就是說\(Q^n\)收斂於每行都是\(\textbf{s}\)的矩陣。
因此，經過一定時間步后，鏈的狀態是狀態\(i\)的概率基本接近定常分布\(s_i\)。
11.3.3 Google PageRank
11.4 可逆性
通常來說，找到定常分布需要大量的計算，本節介紹了一種特殊情況下不用求特征方程的方法。
定義11.4.1：可逆性。\(Q=(q_{ij})\)是馬爾科夫鏈的轉移方程。\(\textbf{s}=(s_1,s_2,...,s_M), s_i \geq 0, \sum_i{s_i}=1\)，使得對於所有狀態\(i,j\)成立：
這個等式即是可逆性。
定理11.4.2：可逆性意味着定常。
參考：
Introduction to Probability, Second Edition (Chapman & Hall/CRC Texts in Statistical Science)
基本就是這本書第11章的內容