神经机器翻译（seq2seq RNN）实现详解
http://c.biancheng.net/view/1947.html seq2seq 是一类特殊的 RNN，在机器翻译、文本自动摘要和语音识别中有着成功的应用。本节中，我们将讨论如何实现神经机器翻译，得到类似于谷歌神经机器翻译系统得到的结果（https ...
原文：seq2seq模型详解及对比（CNN，RNN，Transformer）
一，概述 在自然语言生成的任务中，大部分是基于seq seq模型实现的 除此之外，还有语言模型，GAN等也能做文本生成 ，例如生成式对话，机器翻译，文本摘要等等，seq seq模型是由encoder，decoder两部分组成的，其标准结构如下： 原则上encoder，decoder可以由CNN，RNN，Transformer三种结构中的任意一种组合。但实际的应用过程中，encoder，decno ...
2019-07-08 15:11 0 6706 推荐指数：
相关推荐
介绍 Seq2Seq 模型
2019-09-10 19:29:26 问题描述：什么是Seq2Seq模型？Seq2Seq模型在解码时有哪些常用办法？ 问题求解： Seq2Seq模型是将一个序列信号，通过编码解码生成一个新的序列信号，通常用于机器翻译、语音识别、自动对话等任务。在Seq2Seq模型提出之前，深度学习网 ...
NLP（五）Seq2seq/Transformer/BERT
导论 自然语言处理，NLP，接下来的几篇博客将从四方面来展开： （一）基本概念和基础知识 （二）嵌入Embedding （三）Text classification （四）Language Models （五）Seq2seq/Transformer/BERT ...
Seq2Seq原理详解
一、Seq2Seq简介 seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列。Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。 很多自然语言处理任务 ...
从rnn到lstm，再到seq2seq（一）
rnn的的公式很简单： 对于每个时刻，输入上一个时刻的隐层s和这个时刻的文本x，然后输出这个时刻的隐层s。对于输出的隐层s 做个ws+b就是这个时刻的输出y。 rnn的实现： lstm只是网络结构上个对rnn进行改进，它同时增加一个单元叫做state状态 ...
NLP（十九）：基于transformer的对话系统:RNN、seq2seq、bert、GPT2
参考了pytorch官方文档：https://pytorch.org/tutorials/beginner/chatbot_tutorial.html 一、概述 使用pycharm编写项目，代码分 ...
从rnn到lstm，再到seq2seq（二）
从图上可以看出来，decode的过程其实都是从encode的最后一个隐层开始的，如果encode输入过长的话，会丢失很多信息，所以设计了attation机制。 attation机制的deco ...
seq2seq聊天模型（三）—— attention 模型
注意力seq2seq模型 大部分的seq2seq模型，对所有的输入，一视同仁，同等处理。 但实际上，输出是由输入的各个重点部分产生的。 比如： （举例使用，实际比重不是这样） 对于输出“晚上”， 各个输入所占比重: 今天-50%，晚上-50%，吃-100%，什么-0% 对于输出“吃 ...