1.馬爾科夫鏈概述
馬爾科夫鏈定義本身比較簡單，它假設某一時刻狀態轉移的概率只依賴於它的前一個狀態。舉個形象的比喻，假如每天的天氣是一個狀態的話，那個今天是不是晴天只依賴於昨天的天氣，而和前天的天氣沒有任何關系。當然這么說可能有些武斷，但是這樣做可以大大簡化模型的復雜度，因此馬爾科夫鏈在很多時間序列模型中得到廣泛的應用，比如循環神經網絡RNN，隱式馬爾科夫模型HMM等，當然MCMC也需要它。
馬氏鏈的數學定義：
舉一個例子，社會學家經常把人按其經濟狀況分成3類：下層(lower-class)、中層(middle-class)、上層(upper-class)，我們用1,2,3 分別代表這三個階層。社會學家們發現決定一個人的收入階層的最重要的因素就是其父母的收入階層。如果一個人的收入屬於下層類別，那么他的孩子屬於下層收入的概率是 0.65, 屬於中層收入的概率是 0.28, 屬於上層收入的概率是 0.07。事實上，從父代到子代，收入階層的變化的轉移概率如下
使用矩陣的表示方式，轉移概率矩陣記為：
2.馬爾科夫鏈模型狀態轉移矩陣的性質
我們發現從第7代人開始，這個分布就穩定不變了，事實上，在這個問題中，從任意初始概率分布開始都會收斂到這個上面這個穩定的結果。
上面的性質中需要解釋的有：
1）非周期的馬爾科夫鏈：這個主要是指馬爾科夫鏈的狀態轉化不是循環的，如果是循環的則永遠不會收斂。幸運的是我們遇到的馬爾科夫鏈一般都是非周期性的。用數學方式表述則是：對於任意某一狀態i，d為集合{n∣n≥1,Pnii>0}{n∣n≥1,Piin>0} 的最大公約數，如果 d=1d=1 ，則該狀態為非周期的
2）任何兩個狀態是連通的：這個指的是從任意一個狀態可以通過有限步到達其他的任意一個狀態，不會出現條件概率一直為0導致不可達的情況。
3）馬爾科夫鏈的狀態數可以是有限的，也可以是無限的。因此可以用於連續概率分布和離散概率分布。、
4）ππ通常稱為馬爾科夫鏈的平穩分布。
3.基於馬爾科夫鏈采樣
參考：https://www.cnblogs.com/xbinworld/p/4266146.html
http://www.cnblogs.com/pinard/p/6632399.html