。一個最大逆向匹配分詞算法的例子


原文鏈接地址:
http://www.52nlp.cn/maximum-matching-method-of-chinese-word-segmentation/

        逆向匹配法思想與正向一樣,只是從右向左切分,這里舉一個例子:
   輸入例句:S1=”計算語言學課程有意思” ;
   定義:最大詞長MaxLen = 5;S2= ” “;分隔符 = “/”;
   假設存在詞表:…,計算語言學,課程,意思,…;
   最大逆向匹配分詞算法過程如下:
 (1)S2=””;S1不為空,從S1右邊取出候選子串W=”課程有意思”;
 (2)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”程有意思”;
 (3)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”有意思”;
 (4)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”意思”
 (5)查詞表,“意思”在詞表中,將W加入到S2中,S2=” 意思/”,並將W從S1中去掉,此時S1=”計算語言學課程有”;
 (6)S1不為空,於是從S1左邊取出候選子串W=”言學課程有”;
 (7)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”學課程有”;
 (8)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”課程有”;
 (9)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”程有”;
 (10)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”有”,這W是單字,將W加入到S2中,S2=“ /有 /意思”,並將W從S1中去掉,此時S1=”計算語言學課程”;
 (11)S1不為空,於是從S1左邊取出候選子串W=”語言學課程”;
 (12)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”言學課程”;
 (13)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”學課程”;
 (14)查詞表,W不在詞表中,將W最左邊一個字去掉,得到W=”課程”;
 (15)查詞表,“意思”在詞表中,將W加入到S2中,S2=“ 課程/ 有/ 意思/”,並將W從S1中去掉,此時S1=”計算語言學”;
 (16)S1不為空,於是從S1左邊取出候選子串W=”計算語言學”;
 (17)查詞表,“計算語言學”在詞表中,將W加入到S2中,S2=“計算語言學/ 課程/ 有/ 意思/”,並將W從S1中去掉,此時S1=””;
 (18)S1為空,輸出S2作為分詞結果,分詞過程結束。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM