千里之行，始于足下
第一部分：结缘计算机 依稀记得，我还在读小学时，某一天，爸爸抱着一台大大的机器进了家门，从此我们家有了第一台电脑。一直认为计算机一个非常神奇的东西，如今的千千万万大都离不开计算机的功劳。 ...
原文：【NLP】大数据之行，始于足下：谈谈语料库知多少
大数据之行，始于足下：谈谈语料库知多少 作者：白宁超 年 月 日 : : 摘要：大数据发展的基石就是数据量的指数增加，无论是数据挖掘 文本处理 自然语言处理还是机器模型的构建，大多都是基于一定量的数据，数据规模达到一定程度，采用基于规则方法或者概率统计学的方法进行模型构建，感兴趣知识的获取才更有意义。那么，是不是数据足够大就是大数据了 是不是数据足够多就构成语料库了 往往一个模型好坏跟训练数据或者 ...
2016-07-20 13:49 6 7981 推荐指数：
相关推荐
nlp数据预处理：词库、词典与语料库
在nlp的数据预处理中，我们通常需要根据原始数据集做出如题目所示的三种结构。但是新手（我自己）常常会感到混乱，因此特意整理一下 1.词库 词库是最先需要处理出的数据形式，即将原数据集按空格分词或者使用分词的包如jieba等，将原始文章分割成一个个词语所表示的list，一般是一维或者二维的，二维 ...
NLP&Python笔记——语料库
什么是语料库？文本语料库是一个大型结构化文本的集合。 NLTK包含了许多语料库： （1）古滕堡语料库 （2）网络和聊天文本 （3）布朗语料库 （4）路透社语料库 （5）就职演讲语料库 （6）标注文本语料库 词汇列表语料库 （1）词汇列表 ...
数据挖掘-语料库的构建
语料库：是我们要分析的所有文档的集合 使用搜狗实验室提供的语料库，里面有一个classlist，里面内容是文件的编号及分类名称 1、导入模块 使用os.walk传入这个目录作为参数，遍历该文件夹下的全部文件，该方法返回一个Truple的数组，第一个root是文件所在目录 ...
【Python & NLP】关于语料库标注——词性标注、分词标注、类别标签等-例如brat
参考 【利用brat进行语料标注】【https://blog.csdn.net/tcx1992/article/details/80580089】【用brat标注的例子】【https://wetest.qq.com/lab/view/31.html】 【brat使用方法】【https ...
【数据预处理】TIMIT语料库WAV文件转换
1 问题描述 这两天复现代码。先构造数据集，纯净语音、不同噪声、不同SNR的混合语音。其中纯净语音由两部分组成，IEEE corpus和TIMIT。 一开始我用MATLAB中的audioread读取音频文件，合成后用audiowrite保存下来。没有任何问题。 后来，师姐让我换成python ...
【转】国内可用免费语料库
中国自然语言开源组织：http://www.nlpcn.org/ (一) 国家语委 1国家语委现代汉语语料库http://www.cncorpus.org/ 现代汉语通用平衡语料库现在重新开放网络查询了。重开后的在线检索速度更快，功能更强，同时提供检索结果下载。现代汉语语料库在线 ...
谈谈我对大数据的看法
1.大数据的由来 之所以会出现大数据，主要是由于我们进入了信息时代，随着进入了信息时代，各种信息激增，包括金融，交通，电商，网上的各种信息，这些信息都是各有用处的，有待挖掘；像我自己是处于金融行业的技术人员，我们建立了一个小型的数仓平台，每天都会从上交所和深交所中获取各种交易性的数据，这些信息 ...