一：馬爾可夫過程在實際中的應用
Markov過程是在理論上和實際應用中都 十分重要的一類隨機過程，它是由蘇聯 數學家A.A. Markov(1856-1922)首次提 出並進行研究。至今已形成內容豐富、 理論完整、應用廣泛的一門數學分支。 特別地， Markov過程在工程系統中的噪 聲和信號分析、通信網絡的模擬、統計 物理學、生物學、數字計算方法、經濟 管理和市場預測等領域中都有十分重要 的作用和廣泛的應用，它在人工智能和 在人工神經網絡中也有重要的應用。
本人正是讀了工信出版社的深度淺出強化學習才打算寫一篇關於馬爾可夫過程的博文。
一：馬爾可夫過程的分類
馬爾可夫過程按其狀態和時間可參數是連續,離散分為三類:
(1): 時間，狀態都是離散的馬爾可夫過程，稱馬爾可夫鏈
(2): 時間連續，狀態離散的馬爾可夫過程，稱為連續的馬爾可夫過程
(3):時間，狀態都是連續的馬爾可夫過程
二：馬爾可夫鏈的定義
時間和狀態都是離散的馬爾可夫過程稱為馬爾可夫鏈。
通過上面的數學推導可見，馬爾可夫鏈的馬爾可夫性可以表示為：
P{Xn+1 =in+1 | Xn = in }
也就是說當前狀態只與前一個狀態有關，與其他狀態無關。
三： 轉移概率
條件概率P{Xn+1 = j | Xn = i } 的直觀含義為系統在時刻n處於狀態i的條件下，在時刻n+1下處於狀態J的概率。 記條件概率Pij(n)
我們一般討論的馬爾可夫鏈都是齊次的馬爾可夫鏈。
