去模擬抽煙與不抽煙人群相互轉化的過程： 首先任意假定一個初始狀態：抽煙與不抽煙的人群在實驗開始前分別有 ...

目錄 第二講 馬爾可夫鏈及其概率分布 一、馬爾可夫鏈的定義 Part 1：條件概率 Part 2：馬爾可夫鏈的定義 二、轉移概率和轉移矩陣 Part 1：轉移概率的定義 ...

目錄 第三講 馬爾可夫鏈的狀態 一、常返和暫留 Part 1：常返和暫留的定義 Part 2：常返的判別條件 I Part 3：常返的判別條件 II 二、狀態之間的關系 ...

馬爾科夫鏈定義 馬爾科夫鏈的定義如下 從定義中我們不難看出馬氏鏈當前狀態只與前一個狀態相關。比如我們預測明天天氣，只考慮今天天氣狀況，不考慮昨天前天的天氣狀況。 馬爾科夫鏈平穩狀態 舉個具體的例子。社會學家把人按其經濟狀況分為3類：下層，中層，上層，我們用1,2,3表示這三個階層 ...

，而不需要考慮之前的狀態。 2. 馬爾科夫過程 馬爾科夫過程是隨機過程的一種，隨機過程是對 ...

馬爾可夫過程（以馬爾科夫鏈Markov為例） 馬爾可夫過程 馬爾可夫過程的大概意思就是未來只與現在有關，與過去無關。 簡單理解就是渣男只在乎下一刻會不會愛你只取決於這一時刻對你的新鮮感，而與你之前對這段感情的付出毫無關系。 設有一個隨機過程X（t），如果對於下一個任意的時間序列 ...

　　馬爾可夫決策過程是基於馬爾可夫過程理論的隨機動態系統的最優決策過程。馬爾可夫決策過程是序貫決策的主要研究領域。它是馬爾可夫過程與確定性的動態規划相結合的產物，故又稱馬爾可夫型隨機動態規划，屬於運籌學中數學規划的一個分支。 序貫決策 　　有些決策問題，決策者只需要作一次決策即可，這類決策方法 ...

1. Introduction 第一次接觸到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 里面講解到的 R ...