Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks 2021.5.12 Under review https://arxiv.org/abs/2105.02358 ...
论文笔记:Causal Attention for Vision Language Tasks Paper: Causal Attention for Vision Language Tasks, CVPR Code: https: github.com yangxuntu lxmertcatt 概述 本文的主要工作就是利用因果理论对 attention 机制进行建模,然后从因果的角度分析了目前 ...
2021-05-15 19:05 1 4774 推荐指数:
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks 2021.5.12 Under review https://arxiv.org/abs/2105.02358 ...
Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks 边看边写的。写晕乎了。。 摘要: 当前视觉语言任务常用 大规模预训练模型+多模态表示(这里指image-text pair)。他们结合的比较暴力 ...
Graph Attention Networks 2018-02-06 16:52:49 Abstract: 本文提出一种新颖的 graph attention networks (GATs), 可以处理 graph 结构的数据,利用 masked ...
Recurrent Models of Visual Attention Google DeepMind 模拟人类看东西的方式,我们并非将目光放在整张图像上,尽管有时候会从总体上对目标进行把握,但是也是将目光按照某种次序(例如,从上倒下,从左到右等等)在图像上进行扫描,然后从一个区域 ...
Attention Is All You Need 2018-04-17 10:35:25 Paper:http://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf Code(PyTorch Version ...
1. 论文思想 factorized convolutions and aggressive regularization. 本文给出了一些网络设计的技巧。 2. 结果 用5G的计算量和25M的参数。With an ensemble of 4 models ...
paper: ResNeSt: Split-Attention Networks code: ResNeSt Mxnet&PyTorch版本 Abstract ResNeSt是对ResNext的又一个魔改的变种,亚马逊李沐团队的作品,其中S代表split,可以理解为 ...
CBAM: Convolutional Block Attention Module 2018-09-14 21:52:42 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers ...