本文把对抗训练用到了预训练和微调两个阶段，对抗训练的方法是针对embedding space，通过最大化对抗损失 最小化模型损失的方式进行对抗，在下游任务上取得了一致的效果提升。有趣的是，这种对抗训练方法不仅能够在BERT上有提高，而且在RoBERTa这种已经预训练好的模型上也能有所提高，说明对抗训练的确可以帮助模型纠正易错点。 方法：ALUM 大型神经语言模型的对抗性训练 。 做法：在embe ...
2020-10-14 17:01 2 780 推荐指数：
Large-Scale Adversarial Training for Vision-and-Language Representation Learning 2020-06-12 10:25:21 Paper: https://arxiv.org/abs ...
Domain-adversarial training of neural networks Abstract 我们介绍了一种新的用于域自适应的表征学习方法，其中训练和测试时的数据来自相似但不同的分布。我们的方法直接受到域 ...
背景 方法 作者们提出了一种模型驱动的方法，使用自动对抗的方法自动生成未观察过的对抗样本，并运用生成的样本最终提升阅读理解模型的效果鲁棒性，全程无需人工参与。 该方法可以简单地划分为三个步骤： （1）对每个训练样本利用对抗的方法生成一个干扰向量输入，使得它能够误导当前 ...
(1)用对抗性的源实例攻击翻译模型; (2)使用对抗性目标输入来保护翻译模型，提高其对对抗性源输入的鲁棒性。 生成对抗输入：基于梯度 （平均损失） -> AdvGen ...
参考：机器之心 论文：Pre-trained Models for Natural Language Processing: A Survey 首先简要介绍了语言表示学习及相关研究进展； 其次从四个方面对现有 PTM (Pre-trained Model) 进行系统分类 ...
本文来自李纪为博士的论文 A Diversity-Promoting Objective Function for Neural Conversation Models 1，概述 对于seq2seq模型类的对话系统，无论输入是什么，都倾向于生成安全，通用的回复（例如 i don't ...
investigate the feasibility of using adversarial trainin ...
论文链接：https://openaccess.thecvf.com/content_CVPR_2020/html/Zhou_DaST_Data-Free_Substitute_Training_for_Adversarial_Attacks_CVPR_2020_paper.html 先介绍对抗 ...
