馬爾可夫鏈

簡介

馬爾可夫過程：設\({X(t),t \in T}\)是一個隨機過程，如果\({X(t),t \in T}\)在\(t_{0}\)時刻所處的狀態為未知時，以后的狀態與它在\(t_{0}\)時刻之前所處的狀態無關，則稱\({X(t),t \in T}\)具有馬爾可夫性，具有這種性質的隨機過程就叫做馬爾可夫過程。
馬爾可夫鏈：數學中具有馬爾可夫性質的離散事件隨機過程。即：

\[P({X_{n+1}=j|X_{n}=i,X_{n-1}=i_{n-1},...,X_{1}=i_{1},X_{0}=i_{0}}) \]

\[=P(X_{n+1}=j|X_{n}=i) \]

\[=p_{ij} \]

馬爾可夫鏈是滿足下面兩個假設的一種隨機過程：

• t+1時刻系統狀態的概率分布只與t時刻的狀態有關，與t時刻以前的狀態無關
• 從t時刻到t+1時刻的狀態轉移與t的值無關
  馬爾可夫鏈可以用三元組（S，P，Q）來表示，其中S是狀態集合，P是狀態轉移矩陣，Q是初始狀態概率分布

隨機游走與馬爾可夫鏈

圖上的隨機游走是指給定一個圖和一個出發點，隨機的選擇一個鄰居節點，移動到鄰居節點。然后把當前節點當做出發點。重復以上過程。那些被隨機選出的節點序列就構成了一個在圖上隨機游走的過程。
它是一種概率論與圖的結合。

隨機游走是馬爾科夫鏈的例子。
將馬爾科夫鏈表達為有向圖或無向圖，定點表示狀態，從定點x到y的邊帶有權重pxy
馬爾科夫鏈是聯通的，是指所對應的圖是強連通圖，即任意定點之間都有一條有向路徑。

穩態分布（stationary distribution）

圖G的概率質量向量（每個頂點有一個概率，G中所有的頂點的概率表示成一個向量就稱為概率質量向量）
長期概率分布（long-term probability distribution）
設\(p^{(t)}\)是t步隨機游走后的定點概率分布，則long-term probability為

\[a^{(t)}=\frac{1}{t}*(p^{(0)}+p^{(1)}+...+p^{(t)}) \]

如果存在一個唯一的概率向量\(\pi\)，滿足\(\pi *P=\pi\)（概率質量分布經過轉移之后仍然不變）。任意步隨機游走都不會改變這個分布，所以\(\pi\)稱為平穩分布（stationary distribution）。

細致平穩條件

如果馬爾科夫鏈的轉移矩陣P和平穩分布\(\pi(x)\)滿足

\[\pi(i)P_{ij}=\pi(j)P_{ji} \]

則\(\pi(x)\)為馬爾可夫鏈的平穩分布，上式為馬爾科夫鏈的細致平穩條件

基於馬爾科夫鏈的蒙特卡洛方法

蒙特卡洛方法

隨機模擬：

• 首先建立一個概率模型或隨機過程，然后通過對模型或過程的觀察或抽樣，然后對樣本值進行統計分析，進而得到所研究問題或系統的某些具體參數，統計量等，最后給出所求解的近似值。
• 隨機模擬方法是一種應用概率模型和隨機變量樣例來進行模擬實驗的方法，即利用隨機數進行計算機模擬的方法，也稱為蒙特卡洛法。
• 用蒙特卡洛方法模擬某一個過程時，需要產生某一概率分布的隨機變量（抽樣）。

利用馬爾科夫鏈解決蒙特卡洛的數據采樣問題。讓\(\pi\)成為P(x)。