中文分詞工具thulac4j發布


1. 介紹

thulac4j是THULAC的Java 8工程化實現,具有分詞速度快、准、強的特點;支持

  • 自定義詞典
  • 繁體轉簡體
  • 停用詞過濾

若想在項目中使用thulac4j,可添加依賴:

<dependency>
  <groupId>io.github.yizhiru</groupId>
  <artifactId>thulac4j</artifactId>
  <version>${thulac4j.version}</version>
</dependency>

thulac4j支持中文分詞與詞性標注,使用示例如下:

String sentence = "滔滔的流水,向着波士頓灣無聲逝去";
List<String> words = Segmenter.segment(sentence);
// [滔滔, 的, 流水, ,, 向着, 波士頓灣, 無聲, 逝去]

POSTagger pos = new POSTagger("models/model_c_model.bin", "models/model_c_dat.bin");
List<SegItem> words = pos.tagging(sentence);
// [滔滔/a, 的/u, 流水/n, ,/w, 向着/p, 波士頓灣/ns, 無聲/v, 逝去/v]

模型數據較大,沒有放在jar包與源碼。訓練模型下載及更多使用說明,請參看Getting Started.

2. 測評

測評主要從效果(准確率、召回率、F1值)、性能方面進行比較,測評結果見wiki。從測評結果看出,thulac4j的兼顧效果與速率。

最后,歡迎大家使用並pull request;中文分詞thulac4j的QQ交流群:373215255


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM