論文閱讀 | A Robust Adversarial Training Approach to Machine Reading Comprehension
背景 方法 作者們提出了一種模型驅動的方法，使用自動對抗的方法自動生成未觀察過的對抗樣本，並運用生成的樣本最終提升閱讀理解模型的效果魯棒性，全程無需人工參與。 該方法可以簡單地划分為三個步驟： （1）對每個訓練樣本利用對抗的方法生成一個干擾向量輸入，使得它能夠誤導當前 ...
原文：論文閱讀 | Robust Neural Machine Translation with Doubly Adversarial Inputs
用對抗性的源實例攻擊翻譯模型 使用對抗性目標輸入來保護翻譯模型，提高其對對抗性源輸入的魯棒性。 生成對抗輸入：基於梯度 平均損失 gt AdvGen 我們的工作處理由白盒NMT模型聯合生成的擾動樣本 gt 知道受攻擊模型的參數 ADVGEN包括encoding, decoding: 通過生成對訓練損失敏感的對抗性源輸入來攻擊NMT模型 用對抗性目標輸入對NMT模型進行了防御，目的是降低相應對抗性 ...
2019-09-25 11:22 0 329 推薦指數：
相關推薦
論文閱讀筆記|NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE
Abstract 從Bert到Transformer到Attention，想要了解這一套體系的內部機制，便從將Attention機制運用到NLP問題中的第一篇論文開始閱讀。 Neural Machine Translation（NMT） 旨在建一個單個神經網絡，這個網絡可以共同調整以最大化模型 ...
論文閱讀 | Combating Adversarial Misspellings with Robust Word Recognition
對抗防御可以從語義消歧這個角度來做，不同的模型，后備模型什么的，我覺得是有道理的，和解決未登錄詞的方式是類似的，畢竟文本方面的對抗常常是修改為UNK來發生錯誤的。怎么使用backgroud model ...
對Neural Machine Translation by Jointly Learning to Align and Translate論文的詳解
讀論文 Neural Machine Translation by Jointly Learning to Align and Translate 這個論文是在NLP中第一個使用attention機制的論文。他們把attention機制用到了神經網絡機器翻譯（NMT）上。NMT其實就是一個典型 ...
論文閱讀 | Adversarial Training for Large Neural Language Models
本文把對抗訓練用到了預訓練和微調兩個階段，對抗訓練的方法是針對embedding space，通過最大化對抗損失、最小化模型損失的方式進行對抗，在下游任務上取得了一致的效果提升。有趣的是， ...
【論文閱讀筆記】Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
摘要 GAN的訓練需要圖片是兩兩匹配的，這樣經過訓練后，生成器可以逐步生成一張讓判別期無法判斷真偽的圖片。但實際上會碰到一些非匹配的圖片，於是就提出了非匹配的圖片轉換(Unpaired image- ...
Neural_machine_translation_with_attention_v4a
Neural Machine Translation Welcome to your first programming assignment for this week! You will build a Neural Machine Translation (NMT) model ...
論文泛讀·Adversarial Learning for Neural Dialogue Generation
原文翻譯 導讀 這篇文章的主要工作在於應用了對抗訓練（adversarial training）的思路來解決開放式對話生成（open-domain dialogue generation）這樣一個無監督的問題。 其主體思想就是將整體任務划分到兩個子系統上，一個是生成器 ...