【中文分詞】條件隨機場CRF
，從概率模型（Probabilistic Models）與圖表示（Graphical Represent ...
原文：利用條件隨機場模型進行中文分詞
中文分詞的方法非常多，基於詞庫是最基本的，但是當前各大互聯網公司基本上不會僅僅依賴於詞庫的分詞，一般以機器學習的分詞為主，詞庫分詞的方式為輔。在很久以前，我提過利用隱馬爾科夫模型進行中文分詞，條件隨機場其實是隱馬爾科夫模型的一次升級版本，網上有很多關於條件隨機場模型的分詞，但是基本上很難看懂，也許是論文的緣故，那些作者習慣了一上來就是一堆復雜的公式，我也看了一些，獲取有些作者自己都沒搞懂，就弄了 ...
2015-10-22 09:24 2 6987 推薦指數：
相關推薦
用條件隨機場CRF進行字標注中文分詞（Python實現）
本文運用字標注法進行中文分詞，使用4-tag對語料進行字標注，觀察分詞效果。模型方 ...
利用統計進行中文分詞與詞性分析
今天，翻出了我以前在本科階段寫的一些論文，雖然有幾篇沒有發表。突然發現很多還是比較實用，雖然學術價值並不是很大，於是我重新整理了下，用最簡單的方式，摘要了部分出來拼成此文，當然拼的原料都是自己的，本文適合初學者，如若轉載，請著名版權。 中文分詞已經是老調重彈的話題了，傳統的基於詞庫的分詞 ...
python利用jieba進行中文分詞去停用詞
中文分詞(Chinese Word Segmentation) 指的是將一個漢字序列切分成一個一個單獨的詞。 分詞模塊jieba，它是python比較好用的分詞模塊。待分詞的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建議直接輸入 GBK ...
條件隨機場入門（二） 條件隨機場的模型表示
linear-chain 條件隨機場 條件隨機場（conditional random field）是給定隨機變量 X 條件下，隨機變量 Y 的馬爾可夫隨機場。本文主要介紹定義在線性鏈上的特殊的條件隨機場，稱為線性鏈條件隨機場（linear-chain CRF)。線性鏈條件隨機場可以用於機器學習 ...
IKAnalyzer進行中文分詞和去停用詞
最近學習主題模型pLSA、LDA，就想拿來試試中文。首先就是找文本進行切詞、去停用詞等預處理，這里我找了開源工具IKAnalyzer2012，下載地址：(：(注意：這里盡量下載最新版本，我這里用的IKAnalyzer2012.zip 這本版本后來測試時發現bug，這里建議 ...
CRF++進行中文分詞實例
工具包：https://taku910.github.io/crfpp/#tips 語料：http://sighan.cs.uchicago.edu/bakeoff2005/ 安裝： 1）下載l ...
R語言進行中文分詞和聚類
目標：對大約6w條微博進行分類 環境：R語言 由於時間較緊，且人手不夠，不能采用分類方法，主要是沒有時間人工分類一部分生成訓練集……所以只能用聚類方法，聚類最簡單的方法無外乎：K-means與層次聚類。 嘗試過使用K-means方法，但結果並不好，所以最終采用的是層次聚類，也幸虧 ...