馬爾科夫鏈定義
馬爾科夫鏈的定義如下
從定義中我們不難看出馬氏鏈當前狀態只與前一個狀態相關。比如我們預測明天天氣，只考慮今天天氣狀況，不考慮昨天前天的天氣狀況。
馬爾科夫鏈平穩狀態
舉個具體的例子。社會學家把人按其經濟狀況分為3類：下層，中層，上層，我們用1,2,3表示這三個階層。社會學家發現決定一個人的收入階層最重要的因素就是其父母的收入階層。如果一個人的收入屬於下層類別，則它的孩子屬於下層收入的概率為0.65，屬於中層收入的概率為0.28，屬於上層收入的概率為0.07。從父代到子代，收入階層轉移概率如下
我們用P表示這個轉移矩陣，則
假設第1代人的階層比例為
，則前10代人的階層分布如下
我們可以看到，在相同的轉移矩陣作用下，狀態變化最終會趨於平穩。對於第n代人的階層分布，我們有
。從表達式上我們可以看到，π是一維向量，P是兩維矩陣，P進行足夠多次自乘后，值趨於穩定。
馬爾科夫鏈平穩狀態定理
在轉移矩陣P作用下達到的平穩狀態，我們稱之為馬氏鏈平穩分布。對於這個特性，有如下精彩定理
我在這里直觀的解釋一下上面定理
條件
（1）非周期馬氏鏈：馬氏鏈轉移要收斂，就一定不能是周期性的。不做特別處理，我們處理的問題基本上都是非周期性的，在此不做多余解釋。
（2）存在概率轉移矩陣P，任意兩個狀態是連通的：這里的連通可以不是直接相連，只要能夠通過有限次轉移到達即可。比如對於a, b, c狀態，存在a->b, b->c，則我們認為a到c是可達的。
結論
（1）不論初始狀態是什么，經過足夠多次概率轉移后，會存在一個穩定的狀態π。
（2）概率轉移矩陣自乘足夠多次后，每行值相等。即
由於對任意初始概率向量
，有
相等。當
行相等時，則顯然為定值。（
分量之和為1）
（3）
。顯然，由於馬氏鏈穩定后，所有狀態轉移到狀態j的概率之和穩定。
（4）令π=
，則π為馬氏鏈穩定狀態，並且π是方程π=πP的唯一非負解。結合上面結論，很明顯。
馬爾科夫鏈平穩狀態定理的物理解釋
我們再用一個更加簡單的例子來闡明這個定理的物理含義。假設城市化進程中，農村人轉移為城市人的概率為0.5，城市人轉移為農村人的概率為0.1。
|
|
農村人 |
城市人 |
| 農村人 |
0.5 |
0.5 |
| 城市人 |
0.1 |
0.9 |
假設一開始有100個農村人，0個城市人，每代轉移人數如下
| 代數 |
農村人 |
城市人 |
農村人轉移為城市人 |
城市人轉移為農村人 |
| 1 |
100 |
0 |
50 |
0 |
| 2 |
50 |
50 |
25 |
5 |
| 3 |
30 |
70 |
15 |
7 |
| 4 |
22 |
78 |
11 |
8 |
| 5 |
19 |
81 |
10 |
8 |
| 6 |
17 |
83 |
8 |
8 |
| 7 |
17 |
83 |
8 |
8 |
可以看到，城市化進程中馬爾科夫平穩狀態就是農村人轉移為城市人的速度等於城市人轉移為農村人的速度。對於上述轉移矩陣P，平穩分布為農村人17%，城市人83%。如果我們可以得到當前中國城市化轉移矩陣P，我們就可以算出中國最終城市化率大概為多少（這里不考慮P的變化）。同時如果我們知道了中國城市化人口比例，我們就能知道城市化進程還可以持續多少代人。