論文閱讀 | Robust Neural Machine Translation with Doubly Adversarial Inputs
(1)用對抗性的源實例攻擊翻譯模型; (2)使用對抗性目標輸入來保護翻譯模型，提高其對對抗性源輸入的魯棒性。 生成對抗輸入：基於梯度 （平均損失） -> AdvGen ...
原文：論文閱讀 | A Robust Adversarial Training Approach to Machine Reading Comprehension
背景 方法 作者們提出了一種模型驅動的方法，使用自動對抗的方法自動生成未觀察過的對抗樣本，並運用生成的樣本最終提升閱讀理解模型的效果魯棒性，全程無需人工參與。 該方法可以簡單地划分為三個步驟： 對每個訓練樣本利用對抗的方法生成一個干擾向量輸入，使得它能夠誤導當前的閱讀理解模型 采用貪心策略從干擾向量的詞匯權重中采樣得到對應的離散化的干擾文本 使用干擾文本構建用於訓練的對抗樣本，並重新訓練閱讀理解模 ...
2020-05-24 13:29 0 601 推薦指數：
相關推薦
論文閱讀 | Combating Adversarial Misspellings with Robust Word Recognition
對抗防御可以從語義消歧這個角度來做，不同的模型，后備模型什么的，我覺得是有道理的，和解決未登錄詞的方式是類似的，畢竟文本方面的對抗常常是修改為UNK來發生錯誤的。怎么使用backgroud model ...
論文閱讀 | Adversarial Training for Large Neural Language Models
本文把對抗訓練用到了預訓練和微調兩個階段，對抗訓練的方法是針對embedding space，通過最大化對抗損失、最小化模型損失的方式進行對抗，在下游任務上取得了一致的效果提升。有趣的是， ...
機器閱讀理解綜述Neural Machine Reading Comprehension Methods and Trends(略讀筆記)
標題：Neural Machine Reading Comprehension: Methods and Trends 作者：Shanshan Liu, Xin Zhang, Sheng Zhang, Hui Wang, Weiming Zhang 鏈接：https ...
黑盒對抗攻擊論文《DaST: Data-free Substitute Training for Adversarial Attacks》閱讀感想
論文鏈接：https://openaccess.thecvf.com/content_CVPR_2020/html/Zhou_DaST_Data-Free_Substitute_Training_for_Adversarial_Attacks_CVPR_2020_paper.html 先介紹對抗 ...
Attention-over-Attention Neural Networks for Reading Comprehension論文總結
Attention-over-Attention Neural Networks for Reading Comprehension 論文地址:https://arxiv.org/pdf/1607.04423.pdf 0 摘要 任務：完形填空是閱讀理解是挖掘文檔和問題關系的一個代表性 ...
Adversarial Training
原於2018年1月在實驗室組會上做的分享，今天分享給大家，希望對大家科研有所幫助。 今天給大家分享一下對抗訓練（Adversarial Training，AT）。 為何要選擇這個主題呢？ 我們從上圖的Attention的搜索熱度可以看出，Attention在出現后，不斷被人們所重視 ...
Domain-adversarial training of neural networks - 1 - 論文學習
Domain-adversarial training of neural networks Abstract 我們介紹了一種新的用於域自適應的表征學習方法，其中訓練和測試時的數據來自相似但不同的分布。我們的方法直接受到域 ...