【NLP學習其二】什么是隱馬爾可夫模型HMM?

本文轉載自查看原文 2021-06-24 15:59 190 NLP/ 機器學習

概念

隱馬爾可夫模型描述的是兩個時序序列聯合分布p(x,y)的概率模型，其中包含了兩個序列：

x序列外界可見(外界指的是觀測者)，稱為觀測序列(obsevation seuence)

y序列外界不可見，稱為狀態序列( state sequence)

如觀測x為單詞，狀態y為詞性，我們需要根據單詞序列去猜測它們的詞性。

隱馬爾可夫模型之所以稱為“隱”，是因為從外界來看，狀態序列(例如詞性)隱藏不可見，是待求的因變量。

從這個角度來講，人們也稱狀態為隱狀態(hidden state )，而稱觀測為顯狀態( visible state )。

為什么叫“馬爾可夫模型”？是因為它滿足馬爾可夫假設。

馬爾可夫假設認為：每件事情的發生概率僅與前一件事有關

當有多個滿足上述假設的事件形成串聯時，就構成了馬爾可夫鏈，在NLP的領域中就稱為一個二元語法模型

注：

一元語法模型：
我考上大學只與考試當天的我有關，與前一天模擬考的我沒有半毛錢關系

二元語法模型：
我考上大學與我前一天模擬考的我有關

書接上回

我們先做一些約定：

Qhidden為所有隱藏狀態種類的合集，有N種

例如我們之前定義了七個標簽（https://www.cnblogs.com/DAYceng/p/14923065.html），那么N = 7

Vobs表示可觀測的序列的合集（這里由漢字組成)

其中，V為單個的字，M為已知字的個數

有一串自然語言文本O，共T個字，則觀測合集可表示為

而觀測到的實體對應的實體標記就是隱狀態合集I

I與O一一對應並且長度一致

注：常稱T為時刻，如上式中共有T個時刻（T個字）

HMM的假設

圖片出處：https://github.com/aespresso/a_journey_into_math_of_ml

假設一:

當前第 $t$ 個隱狀態(實體標簽)只跟前一時刻的 $t-1$ 隱狀態(實體標簽)有關，連續多個狀態構成隱馬爾可夫鏈I（隱狀態合集），與除此之外的其他隱狀態無關。
例如，上圖中：藍色的部分指的是 $i_t$ 只與 $i_{t-1}$ 有關，而與藍色區域之外的所有內容都無關，而 $P(i_{t}|i_{t-1})$ 指的是隱狀態 $i$ 從 $t-1$ 時刻轉向t時刻的概率。

假設二：

觀測獨立的假設，我們上面說過，HMM模型中是由隱狀態序列(實體標記)生成可觀測狀態(可讀文本)的過程，觀測獨立假設是指在任意時刻觀測 $o_t$ 只依賴於當前時刻的隱狀態i,與其他時刻的隱狀態無關。
例如上圖中：粉紅色的部分指的是 $i_{t+1}$ 只與 $o_{t+1}$ 有關，跟粉紅色區域之外的所有內容都無關。