馬爾可夫隨機場

本文轉載自查看原文 2016-10-11 15:51 1425 概率圖模型/ 機器學習

馬爾可夫隨機場（Markov Random Field,簡稱MRF）是典型的馬爾可夫網，這是一種著名的無向圖模型。圖中每個結點表示一個或一組變量，結點之間的邊表示兩個變量之間的依賴關系。馬爾可夫隨機場有一組勢函數（potential functions）,亦稱“因子”（factor），這是定義在變量子集上的非負實函數，主要用於定義概率分布函數。

圖 14.2 一個簡單的馬爾可夫隨機場

圖14.2顯示出一個簡單的馬爾可夫隨機場。對於圖中結點的一個子集，若其中任意兩結點間都有邊連接，則稱該結點子集為一個“團”（clique）。若在一個團中加入另外任何一個結點都不再形成團，則稱該團為“極大團”（maximal clique）;換言之，極大團就是不能被其它團所包含的團。例如，在圖14.2中， $\{x_1,x_2\},\{x_1,x_3\},\{x_2,x_4\},\{x_2,x_5\},\{x_2,x_6\},\{x_3,x_5\},\{x_5,x_6\}$ 和 $\{x_2,x_5,x_6\}$ 都是團,並且除了 $\{x_2,x_5\},\{x_2,x_6\}$ 和 $\{x_5,x_6\}$ 之外都是極大團;但是,因為 x_2 和 x_3 之間缺乏連接, $\{x_1,x_2,x_3\}$ 並不構成團.顯然,每個結點至少出現在一個極大團中.

在馬爾可夫隨機場中,多個變量之間的聯合概率分布能基於團分解為多個因子的乘積,每個因子僅與一個團相關.具體來說,對於個變量 $\mathrm{x}=\{x_1,x_2,\dots,x_n\}$ ,所有團構成的集合為 $\mathcal{C}$ ,與團 $Q\in\mathcal{C}$ 對應的變量集合記為 $\mathrm{x_Q}$ ,則聯合概率分布 $P(\mathrm{x})$ 定義為

$P(\mathrm{x})=\frac{1}{Z}\prod_{Q\in\mathcal{C}}\psi_Q(\mathrm{x_Q})$

其中 $\psi_Q$ 為與團對應的勢函數，用於對團中的變量關系進行建模， $Z=\sum\nolimits_x\prod\nolimits_{Q\in\mathcal{C}}\psi_Q(\mathrm{x_Q})$ 為規范化因子，以確保 $P(\mathrm{x})$ 是被正確定義的概率.在實際應用中,精確計算通常很困難,但許多任務往往並不需獲得的精確值.

顯然,若變量個數較多,則團的數目將會很多(例如,所有相互連接的兩個變量都會構成團), 這就意味着 $P(\mathrm{x})$ 會有很多乘積項,顯然會給計算帶來負擔.注意到若團不是極大團，則它必被一個極大團 Q^* 所包含，即 $\mathrm{x}_Q\subseteq\mathrm{x}_{Q^*}$ ；這意味着變量 $\mathrm{x}_Q$ 之間的關系不僅體現在勢函數 $\psi_Q$ 中，還體現在 $\psi_{Q^*}$ 中。於是，聯合概率 $P(\mathrm{x})$ 可基於極大團來定義.假定所有極大團構成的集合為 $\mathcal{C}^*$ ,則有

$P(\mathrm{x})=\frac{1}{Z^*}\prod_{Q\in\mathcal{C}^*}\psi_Q(\mathrm{x_Q})$

其中 $Z^*=\sum\nolimits_x\prod\nolimits_{Q\in\mathcal{C}^*}\psi_Q(\mathrm{x}_Q)$ 為規范化因子。例如圖14.2中 $\mathrm{x}=\{x_1,x_2,\dots,x_6\}$ ,聯合概率分布 $P(\mathrm{x})$ 定義為

$P(\mathrm{x})=\frac{1}{Z^*}\psi_{12}(x_1,x_2)\psi_{13}(x_1,x_3)\psi_{24}(x_2,x_4)\psi_{35}(x_3,x_5)\psi_{256}(x_2,x_5,x_6)$ ,

其中,勢函數 $\psi_{256}(x_2,x_5,x_6)$ 定義在極大團 $\{x_2,x_5,x_6\}$ 上,由於它的存在,使我們不再需為團 $\{x_2,x_5\},\{x_2,x_6\}$ 和 $\{x_5,x_6\}$ 構建勢函數.

在馬爾可夫隨機場中如何得到”條件獨立性”呢？同樣借助“分離”的概念，如圖 14.3所示，若從結點集A中的結點到B中的結點都必須經過結點集C中的結點，則稱結點集A和B被結點集C分離，C稱為“分離集”（separating set）.對馬爾可夫隨機場，有

“全局馬爾可夫性”（global Markov property）: 給定兩個變量子集的分離集，則這兩個變量子集條件獨立。

也就是說，圖 14.3中若令A,B和C對應的變量集分別為 $\mathrm{x}_A,\mathrm{x}_B$ 和 $\mathrm{x}_C$ ,則 $\mathrm{x}_A$ 和 $\mathrm{x}_B$ 在給定 $\mathrm{x}_C$ 的條件下獨立，記為 $\mathrm{x}_A\perp\mathrm{x}_B|\mathrm{x}_C$ .

圖 14.3 結點集A和B被結點集C分離

為便於討論，我們令圖 14.3中的A, B和C分別對應變量 x_A,x_B 和 x_C ，於是圖 14.3簡化為圖 14.4.

圖 14.4 圖 14.3的簡化版

對於圖 14.4，可得聯合概率

$P(x_A,x_B,x_C)=\frac{1}{Z}\psi_{AC}(x_A,x_C)\psi_{BC}(x_B,x_C)$ .

基於條件概率的定義可得……

P(x_A,x_B|x_C)=P(x_A|x_C)P(x_B|x_C)

即 x_A 和 x_B 在給定 x_C 時條件獨立。

由全局馬爾可夫性可得到兩個很有用推論：

局部馬爾可夫性（local Markov property）: 給定某變量的鄰接變量，則該變量條件獨立於其他變量。形式化地說，令為圖的結點集，為結點在圖上的鄰接結點, $n^*(v)=n(v)\cup\{v\}$ ,有 $\mathrm{x}_v\perp\mathrm{x}_{V\setminus{n^*(v)}}|\mathrm{x}_{n(v)}$ .
成對馬爾可夫性（pairwise Markov property）: 給定所有其他變量，兩個非臨接變量條件獨立。形式化地說，令圖的結點集和邊集分別為和,對圖中的兩個結點和,若 $\langle{u,v}\rangle\not\in{E}$ ,則 $\mathrm{x}_u\perp\mathrm{x}_v|\mathrm{x}_{v\setminus\langle{u,v}\rangle}$ .

現在我們來考察馬爾可夫隨機場中的勢函數。顯然，勢函數 $\psi_Q(\mathrm{x}_Q)$ 的作用是定量刻畫變量集 $\mathrm{x}_Q$ 中變量之間的相關關系，它應該是非負函數，且在所偏好的變量取值上有較大函數值。例如，假定圖 14.4中的變量均為二值變量，若勢函數為

$\psi_{AC}(x_A,x_C)=\left\{ \begin{array}{rcl} 1.5,&&{\text{if}\;{x_A=x_C};}\\ 0.1,&&{\text{otherwise,}} \end{array}\right.$

$\psi_{BC}(x_B,x_C)=\left\{ \begin{array}{rcl} 0.2,&&{\text{if}\;{x_B=x_C};}\\ 1.3,&&{\text{otherwise,}} \end{array}\right.$

則說明該模型偏好變量 x_A 與 x_C 擁有相同的取值， x_B 與 x_C 擁有不同的取值；換言之，在該模型中 x_A 與 x_C 正相關， x_B 與 x_C 負相關。易知，令 x_A 與 x_C 相同且 x_B 與 x_C 不同的變量值指派將取得較高的聯合概率。

為了滿足非負性，指數函數常被用於定義勢函數，即

$\psi_Q(\mathrm{x}_Q)=e^{-H_Q(\mathrm{x}_Q)}$

$H_Q(\mathrm{x}_Q)$ 是一個定義在變量 $\mathrm{x}_Q$ 上的實值函數，常見形式為：

$H_Q(\mathrm{x}_Q)=\sum_{u,v\in{Q},u\not=v}\alpha_{uv}x_ux_v+\sum_{v\in{Q}}\beta_vx_v$

其中 $\alpha_{uv}$ 和 $\beta_v$ 是參數.上式中的第二項僅考慮單結點,第一項則考慮每一對結點的關系.

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 高斯馬爾科夫隨機場機器學習之馬爾科夫隨機場馬爾可夫隨機場——概率圖模型之無向圖馬爾科夫隨機場的基本概念馬爾可夫隨機場（Markov random fields) 概率無向圖模型馬爾科夫網（Markov network) 一次性弄懂馬爾可夫模型、隱馬爾可夫模型、馬爾可夫網絡和條件隨機場！(詞性標注代碼實現) 馬爾科夫隨機場(MRF)及其在圖像降噪中的matlab實現隱馬爾可夫(HMM)/感知機/條件隨機場(CRF)----詞性標注用 Python 通過馬爾可夫隨機場（MRF）與 Ising Model 進行二值圖降噪馬爾科夫隨機場模型（MRF-Markov Random Field）