本篇博文是数据挖掘部分的首篇，思路主要是先聊聊相似度的理论部分，下一篇是代码实战。 我们在比较事物时，往往会用到“不同”，“一样”，“相似”等词语，这些词语背后都涉及到 ...

1. 文本相似度计算-文本向量化 2. 文本相似度计算-距离的度量 3. 文本相似度计算-DSSM算法 4. 文本相似度计算-CNN-DSSM算法 1.前言 在自然语言处理过程中，经常会涉及 ...

一、文本表示 文本表示的意思是把字词处理成向量或矩阵，以便计算机能进行处理。文本表示是自然语言处理的开始环节。 文本表示按照细粒度划分，一般可分为字级别、词语级别和句子级别的文本表示。字级别（ch ...

这是文本离散表示的第二篇实战文章，要做的是运用TF-IDF算法结合n-gram，求几篇文档的TF-IDF矩阵，然后提取出各篇文档的关键词，并计算各篇文档之间的余弦距离，分析其相似度。 TF-IDF与 ...

基础知识 语料库(corpus)：语料库有三点特征语料库中存放的是在语言的实际使用中真实出现过的语言材料，因此例句库通常不应算作语料库；语料库是承载语言知识的基础资源，但并不等于语言知识；真实语料需 ...

TF-IDF是什么 TF-IDF是一种统计方法，用以评估一个词对于一篇文章或语料库中一篇文章的重要性。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 ...

假设有一段文本："I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good friends." ...

分词（Tokenization） - NLP学习（1） N-grams模型、停顿词（stopwords）和标准化处理 - NLP学习（2） 之前我们都了解了如何对文本进行处理：（1）如用NL ...

一.简介 　　1.RF-IDF【term frequency-inverse document frequency】是一种用于检索与探究的常用加权技术。 　　2.TF-IDF是一种统计方法，用于评 ...

在NLP(自然语言处理)领域，文本表示是第一步，也是很重要的一步，通俗来说就是把人类的语言符号转化为机器能够进行计算的数字，因为普通的文本语言机器是看不懂的，必须通过转化来表征对应文本。早期是基于规则 ...