Good resource, Markov Chains Explained Visually, http://setosa.io/ev/markov-chains/
============================
馬爾可夫鏈（Markov chain），又稱離散時間馬爾可夫鏈（discrete-time Markov chain），因俄國數學家安德烈·馬爾可夫（俄語：Андрей Андреевич Марков）得名，為狀態空間中經過從一個狀態到另一個狀態的轉換的隨機過程。該過程要求具備“無記憶”的性質：下一狀態的概率分布只能由當前狀態決定，在時間序列中它前面的事件均與之無關。這種特定類型的“無記憶性”稱作馬爾可夫性質。馬爾科夫鏈作為實際過程的統計模型具有許多應用。
在馬爾可夫鏈的每一步，系統根據概率分布，可以從一個狀態變到另一個狀態，也可以保持當前狀態。狀態的改變叫做轉移，與不同的狀態改變相關的概率叫做轉移概率。
============================
馬爾可夫性質非正式表示
對於一個隨機過程，如果我們知道在給定時間過程所取的值，我們就不會通過收集更多關於過去的知識來獲得關於過程未來行為的任何額外信息。用更為數學的術語表述，在任何給定的時間內，給定當前和過去狀態的過程的未來狀態的條件分布僅取決於當前狀態，而完全不取決於過去狀態（無記憶屬性）。具有馬爾可夫性質的隨機過程稱為馬爾可夫過程。
馬爾可夫性質表示這樣一個事實，即在給定的時間步和已知當前狀態的情況下，通過收集有關過去的信息，我們不會得到任何關於未來的額外信息。基於前面的定義，我們現在可以定義“同構離散時間馬爾可夫鏈”（為了簡單起見，下面將稱為“馬爾可夫鏈”）。馬爾可夫鏈是一個具有離散時間和離散狀態空間的馬爾可夫過程。因此，馬爾可夫鏈是一個離散的狀態序列，每個狀態序列都是從一個離散的狀態空間（有限或無限）中提取出來的，並且遵循馬爾可夫性質。
在數學上，我們可以用下列式子表示馬爾可夫鏈：
其中，在每一時刻，過程的值都是取自離散集E中的，如下所示：
那么，馬爾可夫性質意味着有如下結論：
最后一個公式表達了這樣一個事實：對於給定的歷史（我現在在哪里，我以前在哪里），下一個狀態（我將去向何方）的概率分布僅取決於當前狀態，而不取決於過去的狀態。
============================
馬爾科夫鏈平穩狀態
舉個具體的例子。社會學家把人按其經濟狀況分為3類：下層，中層，上層，我們用1,2,3表示這三個階層。社會學家發現決定一個人的收入階層最重要的因素就是其父母的收入階層。如果一個人的收入屬於下層類別，則它的孩子屬於下層收入的概率為0.65，屬於中層收入的概率為0.28，屬於上層收入的概率為0.07。從父代到子代，收入階層轉移概率如下
我們用P表示這個轉移矩陣，則
假設第1代人的階層比例為
，則前10代人的階層分布如下
我們可以看到，在相同的轉移矩陣作用下，狀態變化最終會趨於平穩。對於第n代人的階層分布，我們有
從表達式上我們可以看到，π是一維向量，P是兩維矩陣，P進行足夠多次自乘后，值趨於穩定。
馬爾科夫鏈平穩狀態定理
在轉移矩陣P作用下達到的平穩狀態，我們稱之為馬氏鏈平穩分布。對於這個特性，有如下精彩定理
我在這里直觀的解釋一下上面定理
條件
（1）非周期馬氏鏈：馬氏鏈轉移要收斂，就一定不能是周期性的。不做特別處理，我們處理的問題基本上都是非周期性的，在此不做多余解釋。
（2）存在概率轉移矩陣P，任意兩個狀態是連通的：這里的連通可以不是直接相連，只要能夠通過有限次轉移到達即可。比如對於a, b, c狀態，存在a->b, b->c，則我們認為a到c是可達的。
結論
（1）不論初始狀態是什么，經過足夠多次概率轉移后，會存在一個穩定的狀態π。
（2）概率轉移矩陣自乘足夠多次后，每行值相等。即
馬爾科夫鏈平穩狀態定理的物理解釋
我們再用一個更加簡單的例子來闡明這個定理的物理含義。假設城市化進程中，農村人轉移為城市人的概率為0.5，城市人轉移為農村人的概率為0.1。
|
|
農村人 |
城市人 |
| 農村人 |
0.5 |
0.5 |
| 城市人 |
0.1 |
0.9 |
假設一開始有100個農村人，0個城市人，每代轉移人數如下
| 代數 |
農村人 |
城市人 |
農村人轉移為城市人 |
城市人轉移為農村人 |
| 1 |
100 |
0 |
50 |
0 |
| 2 |
50 |
50 |
25 |
5 |
| 3 |
30 |
70 |
15 |
7 |
| 4 |
22 |
78 |
11 |
8 |
| 5 |
19 |
81 |
10 |
8 |
| 6 |
17 |
83 |
8 |
8 |
| 7 |
17 |
83 |
8 |
8 |
可以看到，城市化進程中馬爾科夫平穩狀態就是農村人轉移為城市人的速度等於城市人轉移為農村人的速度。對於上述轉移矩陣P，平穩分布為農村人17%，城市人83%。如果我們可以得到當前中國城市化轉移矩陣P，我們就可以算出中國最終城市化率大概為多少（這里不考慮P的變化）。同時如果我們知道了中國城市化人口比例，我們就能知道城市化進程還可以持續多少代人。
============================
============================
馬爾科夫性質：當一個隨機過程在給定現在狀態及所有過去狀態情況下，其未來狀態的條件概率分布僅依賴於當前狀態，而與過去狀態無關，此性質即為馬爾科夫性質。
馬爾科夫過程：具有馬爾可夫性質的隨機過程稱之為馬爾可夫過程，它的另一個名字馬爾科夫鏈更常用。
馬爾科夫鏈：馬爾科夫鏈是隨機過程的一個數列，令隨機過程{Xn, n = 0, 1, 2, . . . , }取有限或可數的正值，當Xn = i 時我們稱該過程在時間n時的狀態為i，而從狀態i到狀態j轉移的概率是固定的(i和j相等時相當於保持當前狀態不變，也對應一個概率值)，也即：P{Xn+1 = j|Xn = i,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0} = P{Xn+1 = j|Xn = i} = Pij
馬爾科夫鏈的三元素是：狀態空間S，轉移概率矩陣P，初始概率分布π
滿足這樣條件的過程稱為馬爾科夫鏈。如下圖所示：圓圈中的數字表示狀態，λ和μ均表示狀態轉移概率(注意：這里沒有給出時刻的信息)。
============================
============================
原文鏈接：
https://blog.csdn.net/weixin_44305115/article/details/98737213
https://blog.csdn.net/bitcarmanlee/article/details/82819860
https://www.cnblogs.com/coshaho/p/9740937.html
REF
（Good）https://wenku.baidu.com/view/e87b12b25b8102d276a20029bd64783e09127dce.html