馬爾可夫過程（以馬爾科夫鏈Markov為例）

馬爾可夫過程

馬爾可夫過程的大概意思就是未來只與現在有關，與過去無關。

簡單理解就是渣男只在乎下一刻會不會愛你只取決於這一時刻對你的新鮮感，而與你之前對這段感情的付出毫無關系。

設有一個隨機過程X（t），如果對於下一個任意的時間序列 ,在給定隨機變量 的條件下， 的分布可表示為 則稱X（t）為馬爾可夫過程或者簡稱馬氏過程。

這種“下一時刻的狀態至於當前狀態有關，與上一時刻狀態無關”的性質，稱為無后效性或者馬爾可夫性。而具有這種性質的過程就稱為馬爾可夫過程。

在馬爾可夫過程中有兩個比較重要的概念：轉移分布函數、轉移概率

馬氏過程 ，稱條件概率 為過程的轉移分布函數。
其條件概率 為轉移概率密度，
稱 為轉移概率。

---

馬爾科夫鏈

馬爾科夫鏈（Markov）是最簡單的馬氏過程，即時間和狀態過程的取值參數都是離散的馬氏過程。時間和狀態的取值都是離散值。

假定在每一個時刻 (n=1,2,…)， 所有可能的狀態的集合S是可數的，即可表示為S={0,1,2,…}。對應於時間序列t1，t2 ，…， tn，… ，馬氏鏈的狀態序列為i1，i2，…, in，… 。

對於馬爾科夫鏈，若轉移概率與n無關（即與哪一次轉移無關，僅與轉移前后的狀態有關），則該馬氏鏈為齊次馬氏鏈；否則稱為非齊次馬氏鏈。接下來我們僅討論齊次馬氏鏈。

對於齊次馬氏鏈，轉移概率為 ，稱為馬氏鏈的一步轉移概率，並且其滿足條件： ，j=0，1，……

一步轉移概率矩陣

例題：設有三個黑球和三個白球，把這六個球任意分給甲乙兩人，並把甲擁有的白球數定義為該過程的狀態，則有四種狀態0,1,2,3。現每次從甲乙雙方各取一球，然后相互交換。經過n次交換后過程的狀態記為Xn，試問該過程是否是馬氏鏈？如是，試計算其一步轉移概率矩陣。

解：由題意知，甲擁有白球的狀態為離散值，且當前狀態僅與上一時刻狀態有關。所以這個過程是馬氏鏈。

由於六個球任意分給甲、乙兩人，所以根據甲擁有球的數量不同而狀態不同。

情況一：甲有1個球，則甲的狀態有2種：0和1。

①甲當前狀態為0，則說明甲有1個黑球，乙有2個黑球和3個白球，交換一次后

甲狀態為0的概率：2/5

甲狀態為1的概率：3/5

②甲當前狀態為1，則說明甲有1個白球，乙有3個黑球和2個白球，則交換一次后

甲狀態為0的概率：3/5

甲狀態為1的概率：2/5

甲有2，3，4，5個球的情況依次類推即可，此處不再過多闡述。

除了一部轉移以外，馬爾科夫鏈還有n步轉移，即通過n次達到目標狀態

如上圖，馬爾科夫鏈的n步轉移可以先經過m1步由狀態i轉移到狀態k，然后再經過m2步由狀態k轉移到狀態j。

這個公式稱為Chapman-Kolmogorov（查普曼-科爾莫戈洛夫）等式。

---

馬爾可夫鏈狀態轉移特性

如果馬氏鏈的兩個狀態i和j有下列特性：即存在整數n和n'有

即從狀態i(j)經過n（n’）步轉移到狀態j(i)的概率大於0，則稱i和j是互通的。

如果馬氏鏈的所有狀態都是互通的，則該馬氏鏈是不可約的。

如果馬氏鏈的狀態i有下列特性：即存在某個整數m≥1，使

且存在某個整數d > 1並僅當m為d的整倍時有

則狀態i是有周期性的。

如果馬氏鏈中沒有一個狀態是有周期性的，則稱該馬氏鏈為非周期的。

---

馬爾科夫鏈的穩態分布

若下式成立

則稱概率分布 是馬氏鏈的穩態分布。對於穩態概率分布，存在

穩態概率反映了系統達到穩態后，系統處於某一狀態的可能性（概率）。

穩態分布可以表示為

即過程從初始狀態X0= i 出發，最終轉移到狀態Xn= j的概率，並且與初始狀態X0= i無關。

穩態分布也可以表示為

其中，pj表示該過程中訪問狀態j的時間比例或頻率，且與初始狀態無關。

---

馬爾科夫鏈的全局平衡方程

在馬爾可夫鏈在穩態情況下從一個狀態出發總會轉移到一個狀態，所以

稱為全局平衡方程。它表示在穩態情況下，從一個狀態j轉移出去的頻率等於轉移進入狀態j的頻率。

全局平衡方程是一種典型的求解概率分布的方法。