开源中文分词工具探析（四）：THULAC
THULAC是一款相当不错的中文分词工具，准确率高、分词速度蛮快的；并且在工程上做了很多优化，比如：用DAT存储训练特征（压缩训练模型），加入了标点符号的特征（提高分词准确率）等。 【开源中文分词工具探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源 ...
原文：开源中文分词工具探析（五）：FNLP
FNLP是由Fudan NLP实验室的邱锡鹏老师开源的一套Java写就的中文NLP工具包，提供诸如分词 词性标注 文本分类 依存句法分析等功能。 开源中文分词工具探析 系列： 开源中文分词工具探析 一 ：ICTCLAS NLPIR 开源中文分词工具探析 二 ：Jieba 开源中文分词工具探析 三 ：Ansj 开源中文分词工具探析 四 ：THULAC 开源中文分词工具探析 五 ：FNLP 开源中文分 ...
2017-03-16 14:29 5 4979 推荐指数：
相关推荐
开源中文分词工具探析（三）：Ansj
Ansj是由孙健（ansjsun）开源的一个中文分词器，为ICTLAS的Java版本，也采用了Bigram + HMM分词模型（可参考我之前写的文章）：在Bigram分词的基础上，识别未登录词，以提高分词准确度。虽然基本分词原理与ICTLAS的一样，但是Ansj做了一些工程上的优化，比如：用DAT ...
开源中文分词工具探析（六）：Stanford CoreNLP
探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源中文分词工具探 ...
开源中文分词工具探析（七）：LTP
LTP是哈工大开源的一套中文语言处理系统，涵盖了基本功能：分词、词性标注、命名实体识别、依存句法分析、语义角色标注、语义依存分析等。 【开源中文分词工具探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源中文分词工具探析（二）：Jieba 开源中文 ...
中文分词工具探析（二）：Jieba
【开源中文分词工具探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源中文分词工具探析（二）：Jieba 开源中文分词工具探析（三）：Ansj 开源中文分词工具探析（四）：THULAC 开源中文分词工具探析（五）：FNLP 开源中文分词工具 ...
中文分词工具探析（一）：ICTCLAS (NLPIR)
【开源中文分词工具探析】系列： 开源中文分词工具探析（一）：ICTCLAS (NLPIR) 开源中文分词工具探析（二）：Jieba 开源中文分词工具探析（三）：Ansj 开源中文分词工具探析（四）：THULAC 开源中文分词工具探析（五）：FNLP 开源中文分词工具 ...
中文分词工具
分词器介绍 当对一个文档（document是一系列field的集合)进行索引时，其中的每个field（document和file都是lucene中的概念）中的数据都会经历分析，分词和多步的分词过滤等操作。这一系列的动作是什么呢？直观的理解是，将一句话分成单个的单词，去掉句子当中的空白符号，去掉 ...
中文分词原理及工具
原理 中文分词，即 Chinese Word Segmentation，即将一个汉字序列进行切分，得到一个个单独的词。表面上看，分词其实就是那么回事，但分词效果好不好对信息检索、实验结果还是有很大影响的，同时分词的背后其实是涉及各种各样的算法的。 中文分词与英文分词有很大的不同，对英文 ...