[NLP]Transformer-XL论文解读
关于Transformer的具体内容，可以访问：https://www.cnblogs.com/mj-selina/p/12369797.html 简介 Transformer是Google Brain2017年提出的一种模型，它的编码能力超越了RNN，但是对于长距离依赖的建模能力依然不足 ...
原文：[NLP论文]Longformer: The Long-Document Transformer论文翻译及理解
摘要 基于Transformer的模型由于自注意力操作不能处理长序列，自注意力操作是序列长度的二次方。为了定位这个限制，我们提出一种Longformer的方法，它使用的注意力机制能够随着序列长度线性增长，使得能够很容易的处理具有数千或者更长token的文档。Longformer的注意力机制可以使用任务驱动的全局注意力来随时替换典型的自注意力机制。 我们使用字符级语言模型来评估Longformer， ...
2021-01-11 20:49 0 414 推荐指数：
相关推荐
[NLP]BERT论文理解
论文地址：https://arxiv.org/pdf/1810.04805.pdf 简介 bert是google2018年提出的一种两阶段语言模型，全称Bidirectional Encoder Representations from Transformers，它本质上 ...
[NLP]XLNet论文理解
论文地址：https://arxiv.org/pdf/1906.08237.pdf 简介 XLNet是一个类似BERT的模型，但是它采用了通用的自回归预训练方法(AR模型)，而基于DAE的Bert模型采用的则是降噪自动编码方法(AE模型)，bert和AR模型的区别主要是在以下三方面 ...
BERT论文翻译：用于语言理解的深度双向Transformer的预训练
了一种新的语言表示模型BERT，意为“来自transformer的双向编码器表示”（Bidirection ...
[NLP&论文]Text Summarization with Pretrained Encoders论文翻译
的Transformer解码器）。论文设计了一个新的训练流程，能够分开编码器和解码器的优化步骤来适应编码器和解 ...
[论文理解] Spatial Transformer Networks
Spatial Transformer Networks 简介 本文提出了能够学习feature仿射变换的一种结构，并且该结构不需要给其他额外的监督信息，网络自己就能学习到对预测结果有用的仿射变换。因为CNN的平移不变性等空间特征一定程度上被pooling等操作破坏了，所以，想要网络能够应对 ...
论文阅读 | Lite Transformer with Long-Short Range Attention
论文：Lite Transformer with Long-Short Range Attention by Wu, Liu et al. [ code in github ] LSRA特点：两组head，其中一组头部专注于局部上下文建模(通过卷积)，而另一组头部专注于长距离关系建模 ...
spatial transformer networks 这篇论文
大致看了看这个paper, 很novel. 我的观点： 在traditional convolutional neural netwoks 中，我们通常会depend 于 extract ...