seq2seq 是一个 Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列， Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。 这个结构最重要的地方在于输入序列和输出序列 ...

导论 自然语言处理，NLP，接下来的几篇博客将从四方面来展开： （一）基本概念和基础知识 （二）嵌入Embedding （三）Text classification （四）Language Models （五）Seq2seq/Transformer/BERT ...

https://pan.baidu.com/s/1Qgyx_2vJirKAcX2HxYuCwA ...

Sequence Generation 引入 在循环神经网络（RNN）入门详细介绍一文中，我们简单介绍了Seq2Seq，我们在这里展开一下 一个句子是由 characters（字） 或 words（词） 组成的，中文的词可能是由数个字构成的。 如果要用训练RNN写句子的话 ...

网络输入是一个序列，一句话，图像的某一行，都可以认为是一个序列， 网络输出的也是一个序列。 RNN的架构 我们把所有的输出o连起来，就成了一个序列。 rnn有一些缺点，lstm可以加入一个 ...

1. Attention与Transformer模型 Attention机制与Transformer模型，以及基于Transformer模型的预训练模型BERT的出现，对NLP领域产生了变革性提升。现在在大型NLP任务、比赛中，基本很少能见到RNN的影子了。大部分是BERT（或是其各种变体 ...

Seq2Seq模型 基本原理 核心思想：将一个作为输入的序列映射为一个作为输出的序列 编码输入 解码输出 解码第一步，解码器进入编码器的最终状态，生成第一个输出 以后解码器读入上一步的输出，生成当前步输出 ...

作者|Renu Khandelwal 编译|VK 来源|Towards Data Science 在本文中，你将了解： 为什么我们需要seq2seq模型的注意力机制？ Bahdanua的注意力机制是如何运作的？ Luong的注意力机制是如何运作的？ 什么是局部和全局注意力 ...