一、为什么选择序列模型 序列模型可以用于很多领域,如语音识别,撰写文章等等。总之很多优点。。。 二、数学符号 为了后面方便说明,先将会用到的数学符号进行介绍。 以下图为例,假如我们需要定位一句话中人名出现的位置。 红色框中的为输入、输出值。可以看到人名输出用1表示,反之用0表示 ...
一 词汇表征 首先回顾一下之前介绍的单词表示方法,即one hot表示法。 如下图示, Man 这个单词可以用 O 表示,其中O表示One hot。其他单词同理。 但是这样的表示方法有一个缺点,看是看下图中右侧给出的例子,比如给出这么一句不完整的话: I want a glass of orange 假设通过LSTM算法学到了空白处应该填 juice .但是如果将orange改成apple,即 I ...
2018-03-26 12:02 0 1361 推荐指数:
一、为什么选择序列模型 序列模型可以用于很多领域,如语音识别,撰写文章等等。总之很多优点。。。 二、数学符号 为了后面方便说明,先将会用到的数学符号进行介绍。 以下图为例,假如我们需要定位一句话中人名出现的位置。 红色框中的为输入、输出值。可以看到人名输出用1表示,反之用0表示 ...
Week 2 Quiz: Natural Language Processing and Word Embeddings (第二周测验:自然语言处理与词嵌入) 1.Suppose you learn a word embedding for a vocabulary of 10000 ...
一、进行误差分析 很多时候我们发现训练出来的模型有误差后,就会一股脑的想着法子去减少误差。想法固然好,但是有点headlong~ 这节视频中吴大大介绍了一个比较科学的方法,具体的看下面的例子 还是以猫分类器为例,假设我们的模型表现的还不错,但是依旧存在误差,预测后错误标记的数据中有 ...
一、为什么要进行实例探究? 通过他人的实例可以更好的理解如何构建卷积神经网络,本周课程主要会介绍如下网络 LeNet-5 AlexNet VGG ResNet (有152层) ...
1 传统方式的缺点 使用索引的方式无法表达词之间的相似性,n元模型在很多场合难以取得明显的进步和表现。one-hot存在维度方面的问题以及无法表示词和短语之间的相似性。 WordNet: WordNet是一个由普林斯顿大学认识科学实验室在心理学教授乔治·A·米勒的指导下建立 ...
2.1词汇表征 (1)使用one-hot方法表示词汇有两个主要的缺点,以10000个词为例,每个单词需要用10000维来表示,而且只有一个数是零,其他维度都是1,造成表示非常冗余,存储量大;第二每个单词表示的向量相乘都为零(正交),导致没能够表示是词汇之间的联系,比如oriange和apple ...
笔记转载于GitHub项目:https://github.com/NLP-LOVE/Introduction-NLP 13. 深度学习与自然语言处理 13.1 传统方法的局限 前面已经讲过了隐马尔可夫模型、感知机、条件随机场、朴素贝叶斯模型、支持向量机等传统机器学习模型 ...
词袋模型是一种表征文本数据的方法,可以从文本数据中提取出特征并用向量表示.词袋模型主要包括两件事 构建词汇表 确定度量单词出现的方法 词袋模型不考虑单词在文本中出现的顺序,只考虑单词是否出现. 具体以"双城记"开头为例 收集数据 构建词汇表 对于上面四个 ...