作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R/Python),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言高效数据处理指南》、《文本数据挖掘——基于R语言》(《文本数据挖掘 基于R语言 ...
一. 信息检索技术简述 信息检索技术是当前比较热门的一项技术,我们通常意义上的论文检索,搜索引擎都属于信息检索的范畴。信息检索的问题可以抽象为:在文档集合D上,对于关键词w w k 组成的查询串q,返回一个按查询串q和文档d匹配度relevance q,d 排序的相关文档列表D。 经典的信息检索模型包括布尔模型,向量模型,TF IDF模型。布尔模型以集合的布尔运算为基础,查询效率高,但模型过于简单 ...
2017-02-22 20:08 4 11700 推荐指数:
作者:黄天元,复旦大学博士在读,热爱数据科学与开源工具(R/Python),致力于利用数据科学迅速积累行业经验优势和科学知识发现,涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等,著有《R语言高效数据处理指南》、《文本数据挖掘——基于R语言》(《文本数据挖掘 基于R语言 ...
一:python基础,自然语言概念 from nltk.book import * 1,text1.concordance("monstrous") 用语索引 2,text1.similar("best ...
自言语言处理基础知识 参考:https://blog.csdn.net/meihao5/article/details/79592667 英文资料: http://github.com/lovesoft5/ml 一、自然语言处理概述 1)自然语言处理 ...
自然语言处理(1)之NLTK与PYTHON 题记: 由于现在的项目是搜索引擎,所以不由的对自然语言处理产生了好奇,再加上一直以来都想学Python,只是没有机会与时间。碰巧这几天在亚马逊上找书时发现了这本《Python自然语言处理》,瞬间觉得这对我同时入门自然语言处理与Python有很大的帮助 ...
WordNet是面向语义的英语词典,与传统辞典类似,但结构更丰富。nltk中包括英语WordNet,共有155287个单词和117659个同义词。 1.寻找同义词 这里以motorcar为例,寻找 ...
一. NLTK的几个常用函数 1. Concordance 实例如下: 这个函数就是用来搜索单词word在text 中出现多的情况,包括出现的那一行,重点强调上下文。从输出来 ...
学习Python自然语言处理,记录一下学习笔记。 运用Python进行自然语言处理需要用到nltk库,关于nltk库的安装,我使用的pip方式。 或者下载whl文件进行安装。(推荐pip方式,简单又适用)。 安装完成后就可以使用该库了,但是还需要下载学习所需要的数据。启动 ...
汉语中句子以字为单位的,但语义理解仍是以词为单位,所以也就存在中文分词问题。主要的技术可以分为:规则分词、统计分词以及混合分词(规则+统计)。 基于规则的分词是一种机械分词,主要依赖于维护词典,在切 ...