原文:机器翻译模型 Transformer

transformer是一种不同于RNN的架构,模型同样包含 encoder 和 decoder ,但是encoder 和 decoder 抛弃了RNN,而使用各种前馈层堆叠在一起。 Encoder: 编码器是由N个完全一样的层堆叠起来的,每层又包括两个子层 sub layer ,第一个子层是multi head self attention mechanism层,第二个子层是一个简单的多层全连接 ...

2018-12-12 03:22 0 1116 推荐指数:

查看详情

机器翻译机器翻译入门

机器翻译入门,传统的以及微软刘铁岩团队提出的Dual learning,相关内容转载如下。声明:一些内容转载并整合。 第一部分:转载自https://www.cnblogs.com/xing901022/p/7486601.html;作者:xingoo 我们先来看看 ...

Fri Jul 20 06:19:00 CST 2018 0 798
NMT 机器翻译

本文近期学习NMT相关知识,学习大佬资料,汇总便于后期复习用,有问题,欢迎斧正。 目录   RNN   Seq2Seq   Attention   Seq2Seq + Attention   Transformer   Transformer-xl 1. RNN 根据输出 ...

Wed Mar 20 02:46:00 CST 2019 0 696
利用Fairseq训练新的机器翻译模型

利用Fairseq训练一个新的机器翻译模型,官方机器翻译(German-English)示例:Fairseq-Training a New Model。 数据预处理 进入fairseq/examples/translation目录下,执行sh prepare-iwslt14.sh ...

Mon Aug 24 02:07:00 CST 2020 0 1461
Pytorch-seq2seq机器翻译模型+attention

笔记摘抄 语料链接:https://pan.baidu.com/s/1wpP4t_GSyPAD6HTsIoGPZg 提取码:jqq8 数据格式如图: 导包: 1. 数据预处理 1.1 ...

Mon Sep 07 09:43:00 CST 2020 0 853
RNN与应用案例:注意力模型机器翻译

1. 注意力模型 1.2 注意力模型概述 注意力模型(attention model)是一种用于做图像描述的模型。在笔记6中讲过RNN去做图像描述,但是精准度可能差强人意。所以在工业界,人们更喜欢用attention model。 结合下图,先简单地讲一下,注意力模型的运作原理。 第一步 ...

Sun Mar 25 18:31:00 CST 2018 0 1005
神经机器翻译-NMT

论文:   Neural Machine Translation by Jointly Learning to Align and Translate    提出背景:   机器翻译又称为自动翻译,是利用计算机将一种自然语言(源语言)转换成另外一种自然(目标语言)语言的过程,本质 ...

Tue Jun 18 00:55:00 CST 2019 0 1102
机器翻译技术的现状

基于规则 基于规则的机器翻译早在几十年前即已开发出来,是最早的实用自动翻译方法。这类翻译引擎的工作原理是解析源语言句子,分析其结构(例如,确定哪些词汇用作动词或名词),接着将句子转换为中间的、机器可读的代码,然后再将它们转换为目标语言。 基于规则的机器翻译的优点是十分精细的翻译引擎可翻译 ...

Tue Apr 21 17:54:00 CST 2015 0 2809
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM