crf進行詞性標記詳解

本文轉載自查看原文 2020-09-26 22:58 818

關於crf內容我看到了幾篇寫的不錯的博客，具體鏈接如下，在此記錄一下，僅做學習

CRF系列(一)——一個簡單的例子

條件隨機場CRF(一)從隨機場到線性鏈條件隨機場

條件隨機場CRF(二) 前向后向算法評估標記序列概率

條件隨機場CRF(三) 模型學習與維特比算法解碼

CRF可以應用於對一串序列進行自動標注的問題。例如對文字序列進行詞性標，即要自動判斷句子中每個單詞的詞性。在這樣的問題中，每一個詞的標注結果，不僅依賴於該詞語本身，還會依賴於其他詞語的標注結果。CRF可以考慮到這樣的依賴關系。

本文會以一個詞性標注的應用為例，介紹CRF所解決的問題以及CRF模型的建立，學習與預測過程。

任務描述

詞性標注（part-of-speech tagging），其目標就是對一個句子即一串單詞的序列進行打標簽（tagging），標注每個詞的詞性（ADJECTIVE, NOUN, PREPOSITION, VERB, ADVERB, ARTICLE）。我們假設在詞性標准任務中，每個單詞的詞性不僅依賴其本身，而且也會依賴其前一個單詞（這里做了簡化，實際上每個單詞的標注結果依賴更多東西）。

下面，我將針對對這個問題，建立一個簡單的線性鏈條件隨機場（linear-chain CRF）。並介紹這個CRF是如何表示上述的依賴關系，以及如何利用這個CRF來求解這個問題。

實際上，和其他的統計機器學習模型一樣，我們有三個任務要完成：

1）指定模型參數（建立模型）

2）估計這些參數（學習）

3）利用這些參數進行預測（預測）

第一個任務——建立模型

特征函數

為了評價序列中每個單詞屬於各個tag的可能性，我們要根據單詞的位置定義一系列特征函數（feature function），在線性鏈CRF模型中，特征函數表示如下：

$f_k(x,l_{i-1},l_{i},i), \qquad k\in\{1,2,...,M\}$

其中 $s$ 表示序列， $i$ 表示該詞在序列中的位置， $l_{i}$ 表示對該單詞標注的詞性。

每個特征函數表示的是當位置為 $i$ 時，當前位置單詞標注為 $l_i$ 且它前一個單詞標注為 $l_{i-1}$ 時的"可能性"，不過這個"可能性"並不是一個概率，它通常為0或1。

例如，可以定義如下特征函數：

$f_1(x,l_{i-1},l_{i},i)=\cases{1,\qquad l_i=ADVERB\ \&\ 第i個單詞以“-ly”結尾\\ 0,\qquad otherwise}$

$f_2(x,l_{i-1},l_{i},i)=\cases{1,\qquad i=1\ \&\ l_i=VERB\ \&\ 句子以問號結束\\ 0,\qquad otherwise}$

$f_3(x,l_{i-1},l_{i},i)=\cases{1,\qquad l_{i-1}=ADJECTIVE\ \&\ l_i=NOUN\\ 0,\qquad otherwise}$

$f_4(x,l_{i-1},l_{i},i)=\cases{1,\qquad l_{i-1}=PREPERSITION\ \&\ l_i=PREPERSITION\\ 0,\qquad otherwise}$

...

可以看到每一個特征函數的值只與當前位置和前一個位置有關，因此，可以說它有能力表示出我們之前所說的依賴關系。

模型

有了特征函數，我們就可以開始建立模型了。

所謂的建模，其實就是要表示出當給定句子，也就是單詞序列 $x={x_1x_2...x_N}$ 時，整個句子標注為 $l=(l_1l_2...l_N)$ 的概率，即條件概率：

$P(L=l_1l_2...l_N|X={x_1x_2...x_N})$

也就是當 $X$ 給定的情況下， $l_1,l_2,...,l_N$ 的聯合概率

$P(L_1=l_1,L2=l_2...L_N=l_N|X={x_1x_2...x_N})$

權重

每個特征函數對整體的影響應該是不同的，因此，需要為每個函數加上權重 $W=(w_1,w_2,...,w_M)$ ，權重越大，則該特征函數對標注結果的影響越大。那么每個特征函數的權重應該取多少呢？實際上這些權重 $W$ 就是我們所說的參數了，而這些參數如何取值就是我們的第二個任務——參數學習，這個會在下一節講。

非歸一化概率

每個特征函數表示的是每個位置的可能性，那么整個句子被標注為 $l=(1_1l_2...l_N)$ 的可能性當然就是各個位置的可能性的乘積。

$整個句子被標注為l的可能性=\prod_{k=1}^{M}\prod_{i=1}^{N}w_kf_k(x,L_{i-1}=l_{i-1},L_i=l_{i+1})$

不過為了方便計算，我們使用指數形式來表示特征： $exp(w_kf_k(s,l_{i-1},l_i,i))$ 。這樣，乘法就變成了加法：

$\begin{aligned} 整個句子被標注為l的可能性 &=\prod_{k=1}^{M}\prod_{i=1}^{N}exp(w_kf_k(x,L_{i-1}=l_{i-1},L_i=l_{i+1}))\\ &=exp(\sum_{k=1}^{M}\sum_{i=1}^{N}w_kf_k(x,L_{i-1}=l_{i-1},L_i=l_{i+1})) \end{aligned}$

參數模型

此時，我們的模型已經呼之欲出了，

現在所表示的"可能性"還不是一個概率，應該要做歸一化處理，使它的值在0到1之間，因此引入歸一化項 $Z(x)$ ：

$Z(x)=\sum_{L=l'} exp(\sum_{k=1}^{M}\sum_{i=1}^{N}w_kf_k(x,L_{i-1}=l'_{i-1},L_i=l'_{i+1}))$

這樣，我們所需要的條件概率就得到了：

$P(L=l|X=x)=\frac{1}{Z(x)}exp(\sum_{k=1}^{M}\sum_{i=1}^{N}w_kf_k(x,L_{i-1}=l_{i-1},L_i=l_{i+1}))$

其中 $l$ 與 $x$ 都是向量， $l=l_1l_2...l_N,x=x_1x_2...x_N$

小結

這就是我們的線性鏈CRF參數模型，它有能力表示這樣的依賴關系：每個位置的標注結果不僅依賴於該位置的單詞本身，同時還依賴前一個位置的標注結果。

同時我們還指定了模型的參數為每個特征函數的權重 $W=(w_1,w_2,...,w_M)$ 。

第二個任務——學習

目標

學習的目標其實就是找到一組參數 $w=(w_1,w_2,...,w_M)$ ，在訓練數據序列 $x=(x_1,x_2,...,x_N)$ 和標注 $l=(l_1,l_2,...,l_N)$ 上，使條件概率 $P(L=l|X=x)$ 最大化，即找到 $w^*$ ,使：

$w^*=\mathop{\arg\max}_w(P(l|x))$

學習的方法有很多，例如梯度下降，最大似然估計等，這里就不多說了。

這樣學習的任務看似就完成了，不過等等！問題好像並不是這么簡單。

計算問題

我們再看看 $Z(x)$ ：

$Z(x)=\sum_{L=l'} exp(\sum_{k=1}^{M}\sum_{i=1}^{N}w_kf_k(x,L_{i-1}=l'_{i-1},L_i=l'_{i+1}))$

看到最左邊的求和： $\sum_{L=l'}$ ，這里其實寫得簡單了， $L$ 是一個向量，所以其完整形式應該是：

$\sum_{L_1=q_1}^{Q}\sum_{L_2=q_1}^{Q}...\sum_{L_N=q_1}^{Q}, \qquad Q={q_1,q_2,...,q_m}$

即在每個位置上都有 $m$ 種可能的標注結果，那么長度為 $N$ 的句子，就有 $m^N$ 種情況，即使每個單詞只分兩種詞性，長度為15個單詞的序列，其計算量都有 $2^{15}$ ，因此想要直接計算 $Z(x)$ 是很難的。

前向-后向算法

我們所研究的對象，通常都是很長的序列，根據上面所說，對於這種高維數據，想要直接計算 $Z(x)$ 是很難的，因此，在線性鏈CRF中，為了得到 $Z(x)$ 需要前向-后向算法。

對於前向-后向算法，在這里先不做過多說明，在之后的文章中會詳細介紹。

小結

這樣，我們第二個任務也搞定了。

參數的學習就是根據訓練數據找到能使條件概率最大化的參數；

但是由於數據維度高，計算量很大，因此會使用前向-后向算法來計算線性鏈條件隨機場的歸一化項 $Z(x)$ 。

第三個任務——預測

現在我們已經有了模型，並且在已知的數據集上得到了該模型最優的參數，接下來就是根據這個模型及參數對未知的數據進行推測了。具體到我們的詞性標注問題，就是給定一個已知句子 $x$ ，但是其標注未知，通過模型推測每個單詞可能性最大的詞性，即找到最優的一組 $l^*$ ，使：

$l^*=\mathop{\arg\max}_l(P(L=l|X=x))$

計算問題

這回我們謹慎一點，先看看計算有沒有問題。

把公式展開：

$\begin{aligned} l^*&=\mathop{\arg\max}lP(L=l|X=x)\\ &=\mathop{\arg\max}_l\frac{1}{Z(x)}exp(\sum_{k=1}^{M}\sum_{i=1}^{N}w_kf_k(x,L_{i-1}=l_{i-1},L_i=l_{i+1})) \end{aligned}$

$P(L=l|X=x)$ 概率最大的一個 $l$ ，而對於每一個 $l$ ， $Z(x)$ 都是一樣的，因此原問題變成：" alt="我們只是要找到能使 $P(L=l|X=x)$ 概率最大的一個 $l$ ，而對於每一個 $l$ ， $Z(x)$ 都是一樣的，因此原問題變成：

$\begin{aligned} l^* &=\mathop{\arg\max}lexp(\sum_{k=1}^{M}\sum_{i=1}^{N}w_kf_k(x,L_{i-1}=l_{i-1},L_i=l_{i+1}))\\ &=\mathop{\arg\max}l(\sum_{k=1}^{M}\sum_{i=1}^{N}w_kf_k(x,L_{i-1}=l_{i-1},L_i=l_{i+1})) \end{aligned}$

太好了， $Z(x)$ 不用計算了。

不過為了找到最優的 $l^*$ ，總不可能真的把每一個 $l$ 都試一遍吧，這樣計算量仍然很大。

那么維特比算法就是為了解決上述問題的，它利用了動態規划的思想，不過具體算法我們也先暫時不說，會在后面的文章里詳細說明。

小結

這樣，我們知道了如何利用建立好的模型以及學習好的參數，對詞性未知的句子進行標注了。同時，為了得到這個最優的標注，需要使用維特比算法

總結

至此，我們通過一個詞性標注的例子，了解了：

CRF適用於這樣的情況：對於多個位置的標注，每一個位置的標注結果，不僅與其本身有關，而且依賴於其他位置的標注結果。
CRF與其他統計機器學習模型一樣，可以分為三個部分，分別是：

模型的建立
參數的學習
推測

對於模型的建立，我們使用了特征函數，它保證了模型擁有表示我們所需的依賴關系的能力。
對於模型參數的學習以及結果的預測，發現高維數據帶來很大的計算量，因此需要一些算法來簡化計算。

但是，還有一些問題需要探索：

CRF是一種概率圖模型，那么什么是概率圖模型？從概率圖的角度我們怎么看條件隨機場？其他的概率圖模型又能解決什么樣的問題？
我們在這里說的都是線性鏈條件隨機場(Linear Chain CRF)，那么其他形式的CRF是怎樣的，它們能解決什么問題？
在線性鏈CRF中，為了解決計算問題，在學習和預測中所用到的前向-后向算法以及維特比算法分別是什么？
我們現在看到的是CRF在NLP方面的應用，那么在圖像處理中，如何利用CRF提高預測效果？

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 CRF++地名實體識別（特征為詞性和詞）詞性隱馬爾可夫(HMM)/感知機/條件隨機場(CRF)----詞性標注【ML-13-8】條件隨機場CRF--詞性標注任務第四期coding_group筆記_用CRF實現分詞-詞性標注 VIM標記 mark 詳解 CRF++進行中文分詞實例 pytorch BiLSTM+CRF代碼詳解重點利用統計進行中文分詞與詞性分析 02-NLP-05-使用HMM進行詞性標注