Large-Scale Adversarial Training for Vision-and-Language Representation Learning
Large-Scale Adversarial Training for Vision-and-Language Representation Learning 2020-06-12 10:25:21 Paper: https://arxiv.org/abs ...
原文：論文閱讀 | Adversarial Training for Large Neural Language Models
本文把對抗訓練用到了預訓練和微調兩個階段，對抗訓練的方法是針對embedding space，通過最大化對抗損失 最小化模型損失的方式進行對抗，在下游任務上取得了一致的效果提升。有趣的是，這種對抗訓練方法不僅能夠在BERT上有提高，而且在RoBERTa這種已經預訓練好的模型上也能有所提高，說明對抗訓練的確可以幫助模型糾正易錯點。 方法：ALUM 大型神經語言模型的對抗性訓練 。 做法：在embe ...
2020-10-14 17:01 2 780 推薦指數：
相關推薦
Domain-adversarial training of neural networks - 1 - 論文學習
Domain-adversarial training of neural networks Abstract 我們介紹了一種新的用於域自適應的表征學習方法，其中訓練和測試時的數據來自相似但不同的分布。我們的方法直接受到域 ...
論文閱讀 | A Robust Adversarial Training Approach to Machine Reading Comprehension
背景 方法 作者們提出了一種模型驅動的方法，使用自動對抗的方法自動生成未觀察過的對抗樣本，並運用生成的樣本最終提升閱讀理解模型的效果魯棒性，全程無需人工參與。 該方法可以簡單地划分為三個步驟： （1）對每個訓練樣本利用對抗的方法生成一個干擾向量輸入，使得它能夠誤導當前 ...
論文閱讀 | Robust Neural Machine Translation with Doubly Adversarial Inputs
(1)用對抗性的源實例攻擊翻譯模型; (2)使用對抗性目標輸入來保護翻譯模型，提高其對對抗性源輸入的魯棒性。 生成對抗輸入：基於梯度 （平均損失） -> AdvGen ...
論文閱讀 | Pre-trained Models for Natural Language Processing: A Survey
參考：機器之心 論文：Pre-trained Models for Natural Language Processing: A Survey 首先簡要介紹了語言表示學習及相關研究進展； 其次從四個方面對現有 PTM (Pre-trained Model) 進行系統分類 ...
A Diversity-Promoting Objective Function for Neural Conversation Models論文閱讀
本文來自李紀為博士的論文 A Diversity-Promoting Objective Function for Neural Conversation Models 1，概述 對於seq2seq模型類的對話系統，無論輸入是什么，都傾向於生成安全，通用的回復（例如 i don't ...
《C-RNN-GAN: Continuous recurrent neural networks with adversarial training》論文筆記
investigate the feasibility of using adversarial trainin ...
黑盒對抗攻擊論文《DaST: Data-free Substitute Training for Adversarial Attacks》閱讀感想
論文鏈接：https://openaccess.thecvf.com/content_CVPR_2020/html/Zhou_DaST_Data-Free_Substitute_Training_for_Adversarial_Attacks_CVPR_2020_paper.html 先介紹對抗 ...