前言
隨機過程討論的是隨機變量隨時間的變化情況，根據統計時間節點的連續與否和隨機變量變化的連續與否可分為以下四種類型：
· 連續型隨機過程：變量連續、時間節點連續
· 離散型隨機過程：變量離散、時間節點連續
· 連續隨機序列：變量連續、時間節點離散
· 離散隨機序列：變量離散、時間節點離散
本篇文章里介紹的是狀態離散、時間節點離散的隨機過程的一種。Markov鏈，簡稱馬氏鏈。
馬氏鏈的代表性質是馬氏性，簡單來講就是在知道現在的前提下，將來與過去無關。這說明現在就已經保留了足夠的信息量可以用來影響未來，而不需要過去的陳舊的信息（有些許量變質變的味道）
馬氏鏈的描述
描述馬氏鏈時一般使用轉移概率矩陣來刻畫狀態之間的轉移關系，行列排開矩陣表示狀態\(i\)到\(j\)。當然，簡單的轉化關系繪制狀態轉移圖可能會更加鮮明。這些矩陣元素表示的是狀態轉移性質，自然有的會變，有的不會變。我們這里討論的是概率不隨時間變化的情況。當馬氏鏈狀態總數有限時，狀態轉移概率矩陣階數有限。
常用馬氏鏈描述的過程有粒子在直線上的隨機游動【左 右 原地不動 帶有吸收壁 帶有反射壁等】等
在針對一些過程構建模型時，首先要找到隨時間不同的隨機變量。然后找到狀態之間的轉移規律，根據規律可以得到概率轉移矩陣。推導的時候注意對問題的理解，選擇合適的方式去表達。
馬氏鏈的判定及性質
-
一種判定方法是直接用馬氏性，另一種見下圖。其主要原理在於引入另一個獨立同分布的隨機變量一起決定下一狀態是什么。引入的這個隨機變量與我們要討論的隨機變量是相互獨立的，那么轉移概率就由這個函數關系唯一確定。
-
時齊馬氏鏈的一個性質是其完全由初始狀態的概率分布和轉移規律決定。
CK方程
上述兩個部分主要闡述的是異步轉移概率，CK方程主要刻畫的是\(n\)步轉移概率。主要思想在於像樹一樣層層展開，就是矩陣乘法。
在推導過程中可以證明\(P^{(n)}=PP^{(n-1)}\)入手，類似數學歸納。
馬氏鏈的狀態分類
闡述了所有狀態之間的關系，主要是為了找狀態的一些性質。出發了會不會回來？幾步就有可能回來，可能性是多少，是否存在周期？走\(n\)步到達某一指定位置的概率是多少？
根據這些問題就衍生了周期、首達時間、首達概率的概念。
周期：這里的周期和我們平時理解的幾次一循環不太一樣，主要計算方式是從某一點返回到該點所需步數的最小公約數\(d\)。\(d>1\)則稱狀態\(i\)有周期，否則稱狀態\(i\)為非周期的。這里的周期可以理解為經過周期的某個整數倍后總會回到原來的狀態。
首達時間：從某狀態出發第一次到達某個狀態花費的步數。
首達概率：顧名思義在指定步數的情況下是第一次到達這個狀態的概率，詳細定義如下：
令\(f_{ij}=\sum_{n=1}f_{ij}^{(n)}\)，表示的是從狀態\(i\)出發經過有限步終於到達狀態\(j\)的概率。
\(f_{ii} = 1\)，狀態\(i\)常返；\(f_{ii} < 1\)，狀態\(i\)非常返；【刻畫的是到底有沒有概率一定能回來】
由此又衍生了平均返回時間的概念。
在狀態\(i\)為常返的前提下，如果平均返回時間有限稱為正常返【有生之年真的能看到它回來】，趨於無窮則認為是零常返【告訴我要回來，但遲遲等不到】。
非周期的正常返被稱為遍歷狀態。
圖中定理展示的是首達概率與轉移概率之間的關系，推導思路主要用的是\(i\)首達\(j\) 加上狀態\(j\)自己的轉移規律（常返性等）。以下是用該公式證明的關於可達與\(f_{ij}\)之間的關系：
接下來是一些關於判斷狀態性質的條件定理：
關於\(g_{ij}\)的引入
閉集與狀態空間的分解
極限狀態與平穩分布
未完待續...