学习笔记 学习笔记 RoBERTa: A Robustly Optimized BERT Pretraining Approach 一种鲁棒优化的 BERT预训练方法 细读，半天 Motivation 目前自训练方法例如Elmo，GPT，Bert，XLNet在NLP领域取得了很不错的成绩，但是要确定哪些方法对效果的提升贡献最为明显，这是比较困难的。 这主要是因为以下几个原因: 第一是因为训练成本比 ...
2020-10-18 22:53 0 432 推荐指数：
Introduction 本文有如下3个贡献： ① 提出了一个自下而上（bottom-up）的聚类框架（BUC）来解决无监督的ReID问题； ② 采用repelled损失来优化模型，repell ...
、RoBERTa再次刷新了排行榜！ALBERT是一种轻量版本的BERT，利用更好的参数来训练模型，但是效果却反而得到 ...
背景 方法 作者们提出了一种模型驱动的方法，使用自动对抗的方法自动生成未观察过的对抗样本，并运用生成的样本最终提升阅读理解模型的效果鲁棒性，全程无需人工参与。 该方法可以简单地划分为三个步骤： （1）对每个训练样本利用对抗的方法生成一个干扰向量输入，使得它能够误导当前 ...
paper链接：https://arxiv.org/pdf/1812.09953.pdf code链接：https://github.com/YangZhang4065/AdaptationSeg ...
key value 论文名称 LEX-BERT: Enhancing BERT based NER with lexicons 一作 Wei Zhu 单位 ...
key value 名称 Pre-training with Whole Word Masking for Chinese BERT 一作 崔一鸣 单位 ...
DynaBERT: Dynamic BERT with Adaptive Width and Depth 论文中作者提出了新的训练算法，同时对不同尺寸的子网络进行训练，通过该方法训练后可以在推理阶段直接对模型裁剪。依靠新的训练算法，本文在效果上超越了众多压缩模型，比如DistillBERT ...
论文地址： https://hal.inria.fr/hal-02131630/document 作者 ： Ganesh Jawahar, Benoît Sagot, Djamé Seddah 机构 ： Inria 研究的问题： 探究BERT的深层次表征学习的论文，也就是通过实验研究 ...
