论文阅读 | Adaptive Attention Span in Transformers
论文地址：https://arxiv.org/abs/1905.07799?context=cs.LG 研究的问题： 相对于LSTM来说，Transformer几乎在所有的NLP任务上都能胜出。但是有一点，Transformer的时间复杂度是O(n^2)的，因为对于每一步，它都需要计算 ...
原文：论文阅读 | DynaBERT: Dynamic BERT with Adaptive Width and Depth
DynaBERT: Dynamic BERT with Adaptive Width and Depth 论文中作者提出了新的训练算法，同时对不同尺寸的子网络进行训练，通过该方法训练后可以在推理阶段直接对模型裁剪。依靠新的训练算法，本文在效果上超越了众多压缩模型，比如DistillBERT TinyBERT以及LayerDrop后的模型。 论文对于BERT的压缩流程是这样的： 训练时，对宽度和深度 ...
2020-05-22 10:18 0 916 推荐指数：
相关推荐
论文阅读《LEX-BERT: Enhancing BERT based NER with lexicons》
key value 论文名称 LEX-BERT: Enhancing BERT based NER with lexicons 一作 Wei Zhu 单位 ...
论文阅读：Adaptive NMS: Refining Pedestrian Detection in a Crowd
论文阅读：Adaptive NMS: Refining Pedestrian Detection in a Crowd 2019年04月11日 23:08:02 Kivee123 阅读数 836 ...
论文阅读 | What Does BERT Learn about the Structure of Language?
论文地址： https://hal.inria.fr/hal-02131630/document 作者 ： Ganesh Jawahar, Benoît Sagot, Djamé Seddah 机构 ： Inria 研究的问题： 探究BERT的深层次表征学习的论文，也就是通过实验研究 ...
论文阅读（11）RoBERTa: A Robustly Optimized BERT Pretraining Approach（2019）
学习笔记1 学习笔记2 RoBERTa: A Robustly Optimized BERT Pretraining Approach（一种鲁棒优化的 BERT预训练方法） 细读，半天 Motivation 目前自训练方法例如Elmo，GPT，Bert，XLNet在NLP领域 ...
论文阅读《Pre-training with Whole Word Masking for Chinese BERT》
key value 名称 Pre-training with Whole Word Masking for Chinese BERT 一作 崔一鸣 单位 ...
论文笔记：（2021CVPR）PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds
目录 摘要 1、引言 2、相关工作 将点云映射到常规二维或三维栅格（体素） 基于MLPs的点表示学习 基于点卷积的点表示学习 动 ...
论文阅读 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
简述 在文本语义相似度等句子对的回归任务上，BERT , RoBERTa 拿到sota。 但是，它要求两个句子都被输入到网络中，从而导致巨大开销：从10000个句子集合中找到最相似的sentence-pair需要进行大约5000万个推理计算（约65小时）。 BERT不适合语义相似度搜索 ...