隱馬爾可夫模型（三）——隱馬爾可夫模型的評估問題(前向算法）

      隱馬模型的評估問題即，在已知一個觀察序列O=O₁O₂...O_T，和模型μ=（A,B,π}的條件下，觀察序列O的概率，即P(O|μ}

                  

      如果窮盡所有的狀態組合，即S₁S₁...S₁, S₁S₁...S₂, S₁S₁...S₃, ..., S₃S₃...S₃。這樣的話t₁時刻有N個狀態，t₂時刻有N個狀態...t_T時刻有N個狀態，這樣的話一共有N*N*...*N= N^T種組合，時間復雜度為O(N^T),計算時，就會出現“指數爆炸”，當T很大時，簡直無法計算這個值。為解決這一問題，Baum提出了前向算法。

      歸納過程

      首先引入前向變量α_t(i):在時間t時刻，HMM輸出序列為O₁O₂...O_T,在第t時刻位於狀態s_i的概率。

      當T=1時，輸出序列為O₁,此時計算概率為P(O₁|μ）：假設有三個狀態（如下圖）1、2、3，輸出序列為O₁，有三種可能一是狀態1發出，二是從狀態2發出，三是從狀態3發出。另外從狀態1發出觀察值O₁得概率為b₁(O₁),從狀態2發出觀察值O₁得概率為b₂(O₁),從狀態3發出觀察值O₁得概率為b₃(O₁)。因此可以算出

     P(O₁|μ）= π₁*b₁(O₁)+π₂*b₂(O₁) +  π₃*b₃(O₁)= α₁(1) + α₁(2) + α₁(3)

                                    

      當T=2時，輸出序列為O₁O₂,此時計算概率為P(O₁O₂|μ）：假設有三個狀態（如下圖）1、2、3，輸出序列為O₁，有三種可能一是狀態1發出，二是從狀態2發出，三是從狀態3發出。另外從狀態1發出觀察值O₂得概率為b₁(O₂),從狀態2發出觀察值O₂得概率為b₂(O₂),從狀態3發出觀察值O₂得概率為b₃(O₂)。

      要是從狀態1發出觀察值O₂，可能從第一時刻的1、2或3狀態裝換過來，要是從狀態1轉換過來，概率為α₁(1)*a₁₁*b₁(O₂),要是從狀態2轉換過來，概率為α₁(2)*a₂₁*b₁(O₂),要是從狀態3轉換過來，概率為α₁(3)*a₃₁*b₁(O₂),因此

     P(O₁O_2,q₂₌s₁|μ）= α₁(1)*a₁₁*b₁(O₂)  + α₁(2)*a₂₁*b₁(O₂) + α₁(3)*a₃₁*b₁(O₂)=α₂(1)

                                    

      同理：P(O₁O_2,q₂₌s₁|μ）= α₁(1)*a₁₂*b₂(O₂)  + α₁(2)*a₂₂*b₂(O₂) + α₁(3)*a₃₂*b₂(O₂)=α₂(2)

               P(O₁O_2,q₂₌s₁|μ）= α₁(1)*a₁₃*b₁(O₂)  + α₁(2)*a₂₃*b₃(O₂) + α₁(3)*a₃₃*b₃(O₂)=α₂(3)

     所以：P(O₁O₂|μ）=P(O₁O_2,q₂₌s₁|μ）+ P(O₁O_2,q₂₌s₁|μ）+ P(O₁O_2,q₂₌s₁|μ）

                             =α₂(1) + α₂(2) + α₂(3)

      以此類推。。。

      前向算法

       step1 初始化：α₁(i) = π_i*b_i(O₁), 1≤i≤N

       step2 歸納計算:

                          

       step3 終結：

                      P(O|μ）=

      時間復雜度

      計算某時刻的某個狀態的前向變量需要看前一時刻的N個狀態，此時時間復雜度為O(N),每個時刻有N個狀態，此時時間復雜度為N*O(N)=O(N²),又有T個時刻，所以時間復雜度為T*O(N²)=O(N²T)。

      程序例證

      

        前向算法計算P(O|M)：

        step1：α₁(1) =π₁*b₁(red)=0.2*0.5=0.1          α₁(2)=π₂*b₂(red)==0.4*0.4= 0.16          α₁(3)=π₃*b₃(red)==0.4*0.7=0.21

        step2：α₂(1)=α₁(1)*a₁₁*b₁(white) + α₁(2)*a₂₁*b₁(white) + α₁(3)*a₃₁*b₁(white)

                     ...

        step3:P(O|M) = α₃(1)+α₃(2)+α₃(3)

        程序代碼

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int main()
{
        float a[3][3] = {{0.5,0.2,0.3},{0.3,0.5,0.2},{0.2,0.3,0.5}};
        float b[3][2] = {{0.5,0.5},{0.4,0.6},{0.7,0.3}};
        float alpha[4][3];
        int i,j,k, count = 1;
        //output list
        int list[4] = {0,1,0,1};
        //step1:Initialization
        alpha[0][0] = 0.2 * 0.5;
        alpha[0][1] = 0.4 * 0.4;
        alpha[0][2] = 0.4 * 0.7;
        //step2:iteration
        for (i=1; i<=3; i++)
        {
            for(j=0; j<=2; j++)
            {
                alpha[i][j] = 0;
                for(k=0; k<=2; k++)
                {
                   alpha[i][j] += alpha[i-1][k] * a[k][j] * b[j][list[count]];
                }
            }
            count += 1;
        }
       for (i=0; i<=3; i++)
        {
            for(j=0; j<=2; j++)
            {
                printf("a[%d][%d]=%f\n",i+1,j+1,alpha[i][j]);
            }
        }
       //step3:end
       printf("Forward:%f\n", alpha[3][0]+alpha[3][1]+alpha[3][2]);
       return 0;
}

     運行結果