原文:DeepLearning.ai学习笔记(五)序列模型 -- week2 自然语言处理与词嵌入

一 词汇表征 首先回顾一下之前介绍的单词表示方法,即one hot表示法。 如下图示, Man 这个单词可以用 O 表示,其中O表示One hot。其他单词同理。 但是这样的表示方法有一个缺点,看是看下图中右侧给出的例子,比如给出这么一句不完整的话: I want a glass of orange 假设通过LSTM算法学到了空白处应该填 juice .但是如果将orange改成apple,即 I ...

2018-03-26 12:02 0 1361 推荐指数:

查看详情

DeepLearning.ai学习笔记(五)序列模型 -- week1 循环序列模型

一、为什么选择序列模型 序列模型可以用于很多领域,如语音识别,撰写文章等等。总之很多优点。。。 二、数学符号 为了后面方便说明,先将会用到的数学符号进行介绍。 以下图为例,假如我们需要定位一句话中人名出现的位置。 红色框中的为输入、输出值。可以看到人名输出用1表示,反之用0表示 ...

Thu Mar 01 04:31:00 CST 2018 0 2925
DeepLearning.ai学习笔记(三)结构化机器学习项目--week2机器学习策略(2)

一、进行误差分析 很多时候我们发现训练出来的模型有误差后,就会一股脑的想着法子去减少误差。想法固然好,但是有点headlong~ 这节视频中吴大大介绍了一个比较科学的方法,具体的看下面的例子 还是以猫分类器为例,假设我们的模型表现的还不错,但是依旧存在误差,预测后错误标记的数据中有 ...

Fri Oct 27 08:03:00 CST 2017 3 1248
自然语言处理——向量词嵌入

1   传统方式的缺点   使用索引的方式无法表达之间的相似性,n元模型在很多场合难以取得明显的进步和表现。one-hot存在维度方面的问题以及无法表示和短语之间的相似性。   WordNet:   WordNet是一个由普林斯顿大学认识科学实验室在心理学教授乔治·A·米勒的指导下建立 ...

Fri May 24 08:46:00 CST 2019 0 751
吴恩达《深度学习》第五门课(2)自然语言处理嵌入

2.1词汇表征 (1)使用one-hot方法表示词汇有两个主要的缺点,以10000个为例,每个单词需要用10000维来表示,而且只有一个数是零,其他维度都是1,造成表示非常冗余,存储量大;第二每个单词表示的向量相乘都为零(正交),导致没能够表示是词汇之间的联系,比如oriange和apple ...

Mon Jul 23 03:22:00 CST 2018 2 1340
13.深度学习(嵌入)与自然语言处理--HanLP实现

笔记转载于GitHub项目:https://github.com/NLP-LOVE/Introduction-NLP 13. 深度学习自然语言处理 13.1 传统方法的局限 前面已经讲过了隐马尔可夫模型、感知机、条件随机场、朴素贝叶斯模型、支持向量机等传统机器学习模型 ...

Thu Feb 20 06:49:00 CST 2020 2 1473
自然语言处理----模型

模型是一种表征文本数据的方法,可以从文本数据中提取出特征并用向量表示.模型主要包括两件事 构建词汇表 确定度量单词出现的方法 模型不考虑单词在文本中出现的顺序,只考虑单词是否出现. 具体以"双城记"开头为例 收集数据 构建词汇表 对于上面四个 ...

Sat Jun 27 20:42:00 CST 2020 0 573
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM