前向后向算法評估觀察序列概率

本文轉載自查看原文 2017-07-18 09:22 1245 HMM

1. 回顧HMM問題一：求觀測序列的概率

　　　　首先我們回顧下HMM模型的問題一。這個問題是這樣的。我們已知HMM模型的參數

　　　　乍一看，這個問題很簡單。因為我們知道所有的隱藏狀態之間的轉移概率和所有從隱藏狀態到觀測狀態生成概率，那么我們是可以暴力求解的。

　　　　我們可以列舉出所有可能出現的長度為

　　　　具體暴力求解的方法是這樣的：首先，任意一個隱藏序列

P (I | λ) = π i 1 a i 1 i 2 a i 2 i 3 . . . a i

　　　　對於固定的狀態序列

P (O | I, λ) = b i 1 (o 1) b i 2 (o 2) . . . b i T (

　　　　則

P (O, I | λ) = P (I | λ) P (O | I, λ) = π i 1 b i 1 (o

　　　　然后求邊緣概率分布，即可得到觀測序列

P (O | λ) = \sum I P (O, I | λ) = \sum i 1, i 2, . . . i T π

　　　　雖然上述方法有效，但是如果我們的隱藏狀態數

　　　　前向后向算法就是來幫助我們在較低的時間復雜度情況下求解這個問題的。

2. 用前向算法求HMM觀測序列的概率

　　　　前向后向算法是前向算法和后向算法的統稱，這兩個算法都可以用來求HMM觀測序列的概率。我們先來看看前向算法是如何求解這個問題的。

　　　　前向算法本質上屬於動態規划的算法，也就是我們要通過找到局部狀態遞推的公式，這樣一步步的從子問題的最優解拓展到整個問題的最優解。

　　　　在前向算法中，通過定義“前向概率”來定義動態規划的這個局部狀態。什么是前向概率呢, 其實定義很簡單：定義時刻

α t (i) = P (o 1, o 2, . . . o t, i t = q i | λ)

　　　　既然是動態規划，我們就要遞推了，現在我們假設我們已經找到了在時刻

　　　　從下圖可以看出，我們可以基於時刻

α t + 1 (i) = [\sum j = 1 N α t (j) a j i] b i (o t +

　　　　我們的動態規划從時刻1開始，到時刻

　　　　下面總結下前向算法。

　　　　輸入：HMM模型

　　　　輸出：觀測序列概率

　　　　1) 計算時刻1的各個隱藏狀態前向概率：

α 1 (i) = π i b i (o 1),

　　　　2) 遞推時刻

α t + 1 (i) = [\sum j = 1 N α t (j) a j i] b i (o t +

　　　　3) 計算最終結果：

P (O | λ) = \sum i = 1 N α T (i)

　　　　從遞推公式可以看出，我們的算法時間復雜度是

3. HMM前向算法求解實例

　　　　這里我們用隱馬爾科夫模型HMM（一）HMM模型中盒子與球的例子來顯示前向概率的計算。

　　　　我們的觀察集合是:

V = {紅 ， 白} ， M = 2

　　　　我們的狀態集合是：

Q = {盒 子 1 ， 盒 子 2 ， 盒 子 3} ， N = 3

　　　　而觀察序列和狀態序列的長度為3.

　　　　初始狀態分布為：

Π = (0.2, 0.4, 0.4) T

　　　　狀態轉移概率分布矩陣為：

A = ⎛⎝⎜ 0.5 0.3 0.2 0.2 0.5 0.3 0.3 0.2 0.5 ⎞⎠⎟

　　　　觀測狀態概率矩陣為：

B = ⎛⎝⎜ 0.5 0.4 0.7 0.5 0.6 0.3 ⎞⎠⎟

　　　　球的顏色的觀測序列:

O = {紅 ， 白 ， 紅}

　　　　按照我們上一節的前向算法。首先計算時刻1三個狀態的前向概率：

　　　　時刻1是紅色球，隱藏狀態是盒子1的概率為：

α 1 (1) = π 1 b 1 (o 1) = 0.2 \times 0.5 = 0.1

　　　　隱藏狀態是盒子2的概率為：

α 1 (2) = π 2 b 2 (o 1) = 0.4 \times 0.4 = 0.16

　　　　隱藏狀態是盒子3的概率為：

α 1 (3) = π 3 b 3 (o 1) = 0.4 \times 0.7 = 0.28

　　　　現在我們可以開始遞推了，首先遞推時刻2三個狀態的前向概率：

　　　　時刻2是白色球，隱藏狀態是盒子1的概率為：

α 2 (1) = [\sum i = 1 3 α 1 (i) a i 1] b 1 (o 2) = [0.1 * 0.5 +

　　　　隱藏狀態是盒子2的概率為：

α 2 (2) = [\sum i = 1 3 α 1 (i) a i 2] b 2 (o 2) = [0.1 * 0.2 +

　　　　隱藏狀態是盒子3的概率為：

α 2 (3) = [\sum i = 1 3 α 1 (i) a i 3] b 3 (o 2) = [0.1 * 0.3 +

　　　　繼續遞推，現在我們遞推時刻3三個狀態的前向概率：

　　　　時刻3是紅色球，隱藏狀態是盒子1的概率為：

α 3 (1) = [\sum i = 1 3 α 2 (i) a i 1] b 1 (o 3) = [0.077 * 0.5 +

　　　　隱藏狀態是盒子2的概率為：

α 3 (2) = [\sum i = 1 3 α 2 (i) a i 2] b 2 (o 3) = [0.077 * 0.2 +

　　　　隱藏狀態是盒子3的概率為：

α 3 (3) = [\sum i = 1 3 α 3 (i) a i 3] b 3 (o 3) = [0.077 * 0.3 +

　　　　最終我們求出觀測序列:

P (O | λ) = \sum i = 1 3 α 3 (i) = 0.13022

4. 用后向算法求HMM觀測序列的概率

　　　　熟悉了用前向算法求HMM觀測序列的概率，現在我們再來看看怎么用后向算法求HMM觀測序列的概率。

　　　　后向算法和前向算法非常類似，都是用的動態規划，唯一的區別是選擇的局部狀態不同，后向算法用的是“后向概率”，那么后向概率是如何定義的呢？

　　　　定義時刻

β t (i) = P (o t + 1, o t + 2, . . . o T, i t = q i | λ)

　　　　后向概率的動態規划遞推公式和前向概率是相反的。現在我們假設我們已經找到了在時刻

　　　　這樣我們得到了后向概率的遞推關系式如下：

β t (i) = \sum j = 1 N a i j b j (o t + 1) β t + 1 (j)

　　　　現在我們總結下后向算法的流程,注意下和前向算法的相同點和不同點：

　　　　輸入：HMM模型

　　　　輸出：觀測序列概率

　　　　1) 初始化時刻

β T (i) = 1,

　　　　2) 遞推時刻

β t (i) = \sum j = 1 N a i j b j (o t + 1) β t + 1 (j)

　　　　3) 計算最終結果：

P (O | λ) = \sum i = 1 N π i b i (o 1) β 1 (i)

　　　　此時我們的算法時間復雜度仍然是

5. HMM常用概率的計算

　　　　利用前向概率和后向概率，我們可以計算出HMM中單個狀態和兩個狀態的概率公式。

　　　　1）給定模型

γ t (i) = P (i t = q i | O, λ) = P ( i t = q i , O | λ ) P ( O

　　　　利用前向概率和后向概率的定義可知：

P (i t = q i, O | λ) = α t (i) β t (i)

　　　　於是我們得到：

γ t (i) = α t ( i ) β t ( i ) \sum j = 1 N α t ( j ) β t ( j )

　　　　2）給定模型

ξ t (i, j) = P (i t = q i, i t + 1 = q j | O, λ) = P ( i t =

　　　　而

P (i t = q i, i t + 1 = q j, O | λ) = α t (i) a i j b j (o

　　　　從而最終我們得到

ξ t (i, j) = α t ( i ) a i j b j ( o t + 1 ) β t + 1 ( j )

　　　　3) 將

　　　　在觀測序列

　　　　上面這些常用的概率值在求解HMM問題二，即求解HMM模型參數的時候需要用到。我們在這個系列的第三篇來討論求解HMM參數的問題和解法。

轉載處：http://www.cnblogs.com/pinard/p/6955871.html

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 隱馬爾科夫模型HMM（二）前向后向算法評估觀察序列概率條件隨機場CRF(二) 前向后向算法評估標記序列概率 HMM 前向后向算法（轉）隱馬爾可夫模型（六）——隱馬爾可夫模型的評估問題(前向后向相結合算法） HMM-前向后向算法理解與實現（python）神經網絡中的前向后向傳播算法隱馬爾科夫模型——前向后向算法python實現隱馬爾可夫模型（七）——隱馬爾可夫模型的學習問題(前向后向算法）機器學習算法總結(七)——隱馬爾科夫模型(前向后向算法、鮑姆-韋爾奇算法、維特比算法) 隱馬爾可夫(HMM)、前/后向算法、Viterbi算法