Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks 2021.5.12 Under review https://arxiv.org/abs/2105.02358 ...
論文筆記:Causal Attention for Vision Language Tasks Paper: Causal Attention for Vision Language Tasks, CVPR Code: https: github.com yangxuntu lxmertcatt 概述 本文的主要工作就是利用因果理論對 attention 機制進行建模,然后從因果的角度分析了目前 ...
2021-05-15 19:05 1 4774 推薦指數:
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks 2021.5.12 Under review https://arxiv.org/abs/2105.02358 ...
Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks 邊看邊寫的。寫暈乎了。。 摘要: 當前視覺語言任務常用 大規模預訓練模型+多模態表示(這里指image-text pair)。他們結合的比較暴力 ...
Graph Attention Networks 2018-02-06 16:52:49 Abstract: 本文提出一種新穎的 graph attention networks (GATs), 可以處理 graph 結構的數據,利用 masked ...
Recurrent Models of Visual Attention Google DeepMind 模擬人類看東西的方式,我們並非將目光放在整張圖像上,盡管有時候會從總體上對目標進行把握,但是也是將目光按照某種次序(例如,從上倒下,從左到右等等)在圖像上進行掃描,然后從一個區域 ...
Attention Is All You Need 2018-04-17 10:35:25 Paper:http://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf Code(PyTorch Version ...
1. 論文思想 factorized convolutions and aggressive regularization. 本文給出了一些網絡設計的技巧。 2. 結果 用5G的計算量和25M的參數。With an ensemble of 4 models ...
paper: ResNeSt: Split-Attention Networks code: ResNeSt Mxnet&PyTorch版本 Abstract ResNeSt是對ResNext的又一個魔改的變種,亞馬遜李沐團隊的作品,其中S代表split,可以理解為 ...
CBAM: Convolutional Block Attention Module 2018-09-14 21:52:42 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers ...