目錄 第四講 馬爾可夫鏈的平穩分布 一、平穩分布 Part 1：平穩分布 Part 2：不可約馬爾可夫鏈的性質 Part 3：極限分布 二、狀態空間的分解 Part ...

目錄 第三講 馬爾可夫鏈的狀態 一、常返和暫留 Part 1：常返和暫留的定義 Part 2：常返的判別條件 I Part 3：常返的判別條件 II 二、狀態之間的關系 ...

假設說，抽煙和不抽煙的人群之間有一定的概率互相轉化，且相互轉化的概率如下圖所示 即： 　　抽煙的人第二天仍然抽煙的概率是0.8 　　不抽煙的人第二天開始抽煙的概率是0.1 　　不抽煙的人第二天仍然不抽煙的概率是0.9 　　抽煙的人第二天開始不抽煙的概率是0.2 我們用程序 ...

什么是轉移概率矩陣(Transition Probability Matrix) 　　轉移概率矩陣：矩陣各元素都是非負的，並且各行元素之和等於1，各元素用概率表示，在一定條件下是互相轉移的，故稱為轉移概率矩陣。如用於市場決策時，矩陣中的元素是市場或顧客的保留、獲得或失去的概率。P(k ...

，而不需要考慮之前的狀態。 2. 馬爾科夫過程 馬爾科夫過程是隨機過程的一種，隨機過程是對 ...

馬爾可夫過程（以馬爾科夫鏈Markov為例） 馬爾可夫過程 馬爾可夫過程的大概意思就是未來只與現在有關，與過去無關。 簡單理解就是渣男只在乎下一刻會不會愛你只取決於這一時刻對你的新鮮感，而與你之前對這段感情的付出毫無關系。 設有一個隨機過程X（t），如果對於下一個任意的時間序列 ...

在概率論中，我們引入了事件這一概念，它表示試驗的結果。這個結果有時是一個數值，如投擲一枚骰子，結果可能是1、2、3……；有時是用文字描述的，如檢驗一個產品，結果可能是合格、不合格。 為了方便數學上的處理，我們需要將隨機事件進行數量化，如將合格指定為0，不合格指定為1。經過這樣的處理后，隨機事件 ...

　　馬爾可夫決策過程是基於馬爾可夫過程理論的隨機動態系統的最優決策過程。馬爾可夫決策過程是序貫決策的主要研究領域。它是馬爾可夫過程與確定性的動態規划相結合的產物，故又稱馬爾可夫型隨機動態規划，屬於運籌學中數學規划的一個分支。 序貫決策 　　有些決策問題，決策者只需要作一次決策即可，這類決策方法 ...