利用NLTK在Python下进行自然语言处理
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言工具箱（NLTK，Natural Language Toolkit）是一个基于Python语言的类库。它也是当前最为流行的自然语言编程与开发工具。在进行自然语言处理研究和应用时，恰当利用NLTK中提供的函数能够大幅度地提高 ...
原文：利用NLTK进行分词
打开python 导入nltk模块 定义待分词文本 分词 词性标注 至此分词完毕，我们可以在这个分词结果的基础上进行句法分析 句法分析 ...
2013-05-31 19:27 0 6555 推荐指数：
相关推荐
利用jieba分词进行词频统计
jieba分词用法 sorted函数按key值对字典排序 先来基本介绍一下sorted函数，sorted(iterable,key,reverse)，sorted一共有iterable,key,reverse这三个参数。 其中iterable表示可以迭代的对象 ...
英文分词对比nltk vs spacy
word tokenize NLTK nltk.word_tokenize substring，按标点字符和空格划分，但保留小数、分数一类 nltk.tokenize.RegexpTokenizer 正则可保留固定的一部分，如对一些金钱 ...
利用BLEU进行机器翻译检测（Python-NLTK-BLEU评分方法）
双语评估替换分数（简称BLEU）是一种对生成语句进行评估的指标。完美匹配的得分为1.0，而完全不匹配则得分为0.0。这种评分标准是为了评估自动机器翻译系统的预测结果而开发的，具备了以下一些优点： 计算速度快，计算成本低。 容易理解。 与具体语言无关。 已被广泛采用 ...
NLTK学习笔记(六):利用机器学习进行文本分类
目录 一、监督式分类：建立在训练语料基础上的分类 特征提取器和朴素贝叶斯分类器 过拟合：当特征过多 错误分析 二、实例：文本分类和词 ...
利用条件随机场模型进行中文分词
中文分词的方法非常多，基于词库是最基本的，但是当前各大互联网公司基本上不会仅仅依赖于词库的分词，一般以机器学习的分词为主，词库分词的方式为辅。在很久以前，我提过利用隐马尔科夫模型进行中文分词，条件随机场其实是隐马尔科夫模型的一次升级版本，网上有很多关于条件随机场模型的分词 ...
利用统计进行中文分词与词性分析
今天，翻出了我以前在本科阶段写的一些论文，虽然有几篇没有发表。突然发现很多还是比较实用，虽然学术价值并不是很大，于是我重新整理了下，用最简单的方式，摘要了部分出来拼成此文，当然拼的原料都是自己的，本文适合初学者，如若转载，请著名版权。 中文分词已经是老调重弹的话题了，传统的基于词库的分词 ...
python利用jieba进行中文分词去停用词
中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。 分词模块jieba，它是python比较好用的分词模块。待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK ...