词形还原（Lemmatization）是文本预处理中的重要部分，与词干提取（stemming）很相似。   简单说来，词形还原就是去掉单词的词缀，提取单词的主干部分，通常提取后的单词会是字典中的单 ...

大家都知道TreeTagger是一个用于词性标注和词型还原的工具，它的返回结果由三部分组成：目标词汇，词性，原形。那该工具是怎样判断目标词汇的词性的呢？又是怎样得到目标词汇的原形的呢？本文就是从这两个 ...

分词是搜索中最基本也是非常重要的一个功能，正确的分词是好的搜索效果的必要条件。 1. 分词粒度 分词中，最主要的问题是分词粒度问题。例如“射雕英雄传”，下面的几种分词方式，哪一种最正确？ ...

已迁移到我新博客,阅读体验更佳token:NLP之词形还原 完整代码实现放在我的github上:click me 一、任务描述 形态还原算法： 输入一个单词 如果词典 ...