馬爾可夫毯（Markov Blanket） 最近接觸到馬爾可夫毯（MarkovBlanket）這個概念，發現網上資料不多，通俗易懂的解釋甚少，查了一些資料后，決定寫一個總結。 提到馬爾可夫毯，就會有一堆從名字上看很相近的概念，比如馬爾可夫鏈（Markov ...

上面兩篇博客，解釋了概率有向圖（貝葉斯網），和用其解釋條件獨立。本篇將研究馬爾可夫隨機場（Markov random fields)，也叫無向圖模型，或稱為馬爾科夫網（Markov network) 下面附上，上述實驗的matlab代碼。沒有插入matlab選項 ...

一個 Markov 鏈是概率空間上的一個以 \(E\) (至多可數) 為狀態空間的隨機序列 \(\{X_n: n\ge 0\}\), 它滿足 Markov 性和時齊性 (只考慮時齊的情形). 在 Markov 鏈的情形下, Markov 性與強 Markov 性等價. 記轉移概率 \(p ...

一、前言 在第一章強化學習簡介中，我們提到強化學習過程可以看做一系列的state、reward、action的組合。本章我們將要介紹馬爾科夫決策過程（Markov Decision Processes)用於后續的強化學習研究中。 二、馬爾科夫過程（Markov Processes） 2.1 ...

1. 馬爾可夫網絡、馬爾可夫模型、馬爾可夫過程、貝葉斯網絡的區別 　　以下共分六點說明這些概念，分成條目只是方便邊閱讀邊思考，這6點是依次遞進的，不要跳躍着看。 將隨機變量作為結點，若兩個隨機變量相關或者不獨立，則將二者連接一條邊；若給定若干隨機變量，則形成一個有向圖 ...

本文簡單整理了以下內容： （一）貝葉斯網（Bayesian networks，有向圖模型）簡單回顧 （二）隱馬爾可夫模型（Hidden Markov model，HMM） 寫着寫着還是寫成了很規整的樣子。以后可能會修改。 （一）貝葉斯 ...

馬爾可夫不等式把概率關聯到數學期望，給出了隨機變量的分布函數一個寬泛但仍有用的界。 令 $X$ 為非負隨機變量，且假設 $E(X)$ 存在，則對任意的 $a > 0$ 有 $$P\left \{ X \geq a \right \} \leq \frac{E(X)}{a}$$ 馬爾 ...

1、參考資料： 博客園 - 劉建平隨筆：https://www.cnblogs.com/pinard/p/6945257.html 嗶站up主 - 白手起家的百萬富翁：https://www.bi ...