1、词向量（Word Vectors） 英语中大约有13亿个符号，从Feline（猫科动物）到cat（猫），hotel（旅馆）到motel（汽车旅馆），很明显它们之间是有关联的。我们需要将单词一一编码到向量中，一个向量表示了词空间中的一个点。 最简单的一种词向量就是one-hot向量：将每个词 ...

目的：把文本用数据的形式表达出来 方法：传统基于规则，现代基于统计 一、词编码方式1——离散表示 1、One-hot编码 和句子中顺序无关，耗空间耗时 2、词袋模型 每个数表示该词出现的次数（One-hot的加和） 3、TF_IDF 每个数代表该词在整个文档中的占比 4、N-gram ...

自然语言处理与深度学习： 语言模型： N-gram模型： N-Gram模型：在自然语言里有一个模型叫做n-gram，表示文字或语言中的n个连续的单词组成序列。在进行自然语言分析时，使用n-gram或者寻找常用词组，可以很容易的把一句话分解成若干个文字 ...

一、词汇表征 首先回顾一下之前介绍的单词表示方法，即one hot表示法。 如下图示，“Man”这个单词可以用 \(O_{5391}\) 表示,其中O表示One_hot。其他单词同理。 但是这样 ...

1   传统方式的缺点   使用索引的方式无法表达词之间的相似性，n元模型在很多场合难以取得明显的进步和表现。one-hot存在维度方面的问题以及无法表示词和短语之间的相似性。   WordNet:   WordNet是一个由普林斯顿大学认识科学实验室在心理学教授乔治·A·米勒的指导下建立 ...

汉语中句子以字为单位的，但语义理解仍是以词为单位，所以也就存在中文分词问题。主要的技术可以分为：规则分词、统计分词以及混合分词（规则+统计）。 基于规则的分词是一种机械分词，主要依赖于维护词典，在切分时将与剧中的字符串与词典中的词进行匹配。主要包括正向最大匹配法、逆向最大匹配法以及双向最大匹配 ...

一. 信息检索技术简述 　　信息检索技术是当前比较热门的一项技术，我们通常意义上的论文检索，搜索引擎都属于信息检索的范畴。信息检索的问题可以抽象为：在文档集合D上，对于关键词w[1]…w[k]组成的查询串q，返回一个按查询串q和文档d匹配度relevance(q,d)排序的相关文档列表D ...

一、HMM模型 1.HMM模型的原理？ 马尔科夫假设：当前状态仅与上一个状态有关； 观测独立性假设: 任意时刻的观察状态仅仅依赖于当前时刻的隐藏状态 图中Q是状态序列，O是观察序列 举例：词性标注【我爱美丽的中国】 状态 ...