最近在关注谷歌发布关于BERT模型，它是以Transformer的双向编码器表示。顺便回顾了《Attention is all you need》这篇文章主要讲解Transformer编码器。使用该模型在神经机器翻译及其他语言理解任务上的表现远远超越了现有算法 ...

本文是针对谷歌Transformer模型的解读，根据我自己的理解顺序记录的。 另外，针对Kyubyong实现的tensorflow代码进行解读，代码地址https://github.com/Kyubyong/transformer 这里不会详细描述Transformer的实现机理，如果有不了解 ...

关于Transformer的具体内容，可以访问：https://www.cnblogs.com/mj-selina/p/12369797.html 简介 Transformer是Google Brain2017年提出的一种模型，它的编码能力超越了RNN，但是对于长距离依赖的建模能力依然不足 ...

一、注意力层（attention layer） 重要：本层主要就是根据论文公式计算token之间的attention_scores(QKT),并且做softmax之后变成attention_prob ...

做Softmax不是唯一的选项，做ReLu之类的结果也不会比较差，但是Softmax是用的最多的 CNN是self-attention的特例，论文：On the Relationship b ...

Introduction 在transformer model出现之前，主流的sequence transduction model是基于循环或者卷积神经网络，表现最好的模型也是用attention mechanism连接基于循环神经网络的encoder和decoder. ...

终于来到transformer了，之前的几个东西都搞的差不多了，剩下的就是搭积木搭模型了。首先来看一下transformer模型，OK好像就是那一套东西。 transformer是纯基于注意力机制的架构，但是也是之前的encoder-decoder架构。 层归一化 这里用到了层归一化 ...

1. Transformer的整体结构 　　如图所示为transformer的模型框架，transformer是一个seq2seq的模型，分为Encoder和Decoder两大部分。 2. Transformer Encoder部分 2.1 Encoding输入部分 　　首先将输入 ...