中文分词 - jiebaimport re import jieba news_CN = ''' 央视315晚会曝光湖北省知名的神丹牌、莲田牌“土鸡蛋”实为普通鸡蛋冒充，同时在商标上玩 ...

自然语言处理中算法设计有两大部分：分而治之 和 转化 思想。一个是将大问题简化为小问题，另一个是将问题抽象化，向向已知转化。前者的例子：归并排序；后者的例子：判断相邻元素是否相同（与排序）。 这次总结的自然语言中常用的一些基本算法，算是入个门了。 递归 使用递归速度 ...

目录 文法 自定义文法 文法用途 开发文法 分析文法的算法 递归下降解析器 移进-归约解析器 基 ...

这些对象均来自nltk.tokenize库 1. word_tokenize 　　导入nltk的tokenize库后，tokens = nltk.word_tokenize(sentence)语句进行分词操作，sentence为待处理的字符串。返回一个列表。 　　该方法要求被处理的字符串 ...

目录 目录 目录 nltk资料下载 文本和词汇 搜索文本 计数词汇(去重、定位) 词链表 自然语言简单数学统计 频率分布 细粒度的选择词 ...

目录 词性标注器 标注语料库 表示已经标注的标识符:nltk.tag.str2tuple('word/类型') 读取已经标注的语料库 名词、动词、形容词等 尝试找出每个名词类型中最频繁的名词 探索已经标注的语料库 ...

目录 实体识别：分块技术 分块语法的构建 树状图 IOB标记 开发和评估分块器 命名实体识别和信息提取 如何构建 ...

目录 语料库基本函数表 文本语料库分类 常见语料库及其用法 古藤堡语料库 网络&&聊天体 布朗语料库 路透社语料 ...