​ 前言 本文介绍一种新的tokens-to-token Vision Transformer(T2T-ViT)，T2T-ViT将原始ViT的参数数量和MAC减少了一半，同时在ImageNet上从头开始训练时实现了3.0%以上的改进。通过直接在ImageNet上进行训练，它的性能也优于 ...

对于Transformer模型的positional encoding，最初在Attention is all you need的文章中提出的是进行绝对位置编码，之后Shaw在2018年的文章中提出了相对位置编码，就是本篇blog所介绍的算法RPR；2019年的Transformer-XL针对 ...

​前言 本文介绍了现有实例分割方法的一些缺陷，以及transformer用于实例分割的困难，提出了一个基于transformer的高质量实例分割模型SOTR。 经实验表明，SOTR不仅为实例分割提供了一个新的框架，还在MS Coco数据集上超过了SOTA实例分割方法。 本文来自公众号 ...

​ 前言 本文介绍了一个端到端的用于视觉跟踪的transformer模型，它能够捕获视频序列中空间和时间信息的全局特征依赖关系。在五个具有挑战性的短期和长期基准上实现了SOTA性能，具有实时性，比Siam R-CNN快6倍。 本文来自公众号CV技术指南的论文分享系列 关注公众号 ...

​前言：这篇论文旨在以极低的计算成本解决性能大幅下降的问题。提出了微分解卷积，将卷积矩阵分解为低秩矩阵，将稀疏连接整合到卷积中。提出了一个新的动态激活函数-- Dynamic Shift Max，通过最大化输入特征图与其循环通道移位之间的多个动态融合来改善非线性。 在这两个新操作的基础上，得到 ...

这一章我们主要关注transformer在序列标注任务上的应用，作为2017年后最热的模型结构之一，在序列标注任务上原生transformer的表现并不尽如人意，效果比bilstm还要差不少，这背后有哪些原因? 解决这些问题后在NER任务上transformer的效果如何？完整代码详见 ...

1. Motivation 在Transformer-XL中，由于设计了segments，如果仍采用transformer模型中的绝对位置编码的话，将不能区分处不同segments内同样相对位置的词的先后顺序。 比如对于$segment_i$的第k个token，和$segment_j$的第k ...

​ 前言 本文解读的论文是ICCV2021中的最佳论文，在短短几个月内，google scholar上有388引用次数，github上有6.1k star。 本文来自公众号CV技术指南的论文分享系列 关注公众号CV技术指南 ，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读 ...