參考：NLP重鑄篇之對抗文本攻擊 [ 論文源碼： github ] 作者提出了一種對抗樣本生成算法TEXTFOOLER。 論文中，作者使用這種方法，對文本分類與文本蘊含兩種任務做了測試，成功的攻擊了這兩種任務的相關模型，包括：BERT,CNN,LSTM,ESIM等等。 問題定義 ...

最近做項目看了一篇論文《Learn to See in the Dark》下面是一些論文筆記 概括： 　　這篇論文主要介紹的是在低光照的環境下用兩個標准的FCN網絡，通過控制變量法來對比不同的去噪，增加信噪比（SNR）的方案，最終找到一個很好的解決方案。下面是詳細介紹： 圖片噪聲影響 ...

摘要：預訓練語言模型如BERT等已經極大地提高了多項自然處理任務的性能，然而預訓練語言模型通常具需要很大計算資源，所以其很難在有限的資源設備上運行。為了加速推理、減小模型的尺寸而同時保留精度，首先提出了一個新穎的遷移蒸餾方法，它是一種基於遷移方法的知識蒸餾思路。利用整個新穎的KD方法，大量 ...

key value 論文名稱 LEX-BERT: Enhancing BERT based NER with lexicons 一作 Wei Zhu 單位 ...

參考：機器之心 論文：Pre-trained Models for Natural Language Processing: A Survey 首先簡要介紹了語言表示學習及相關研究進展； 其次從四個方面對現有 PTM (Pre-trained Model) 進行系統分類 ...

本文把對抗訓練用到了預訓練和微調兩個階段，對抗訓練的方法是針對embedding space，通過最大化對抗損失、最小化模型損失的方式進行對抗，在下游任務上取得了一致的效果提升。有趣的是，這種對抗訓練方法不僅能夠在BERT上有提高，而且在RoBERTa這種已經預訓練好的模型上也能有 ...

論文信息：Hochreiter S, Younger A S, Conwell P R. Learning to learn using gradient descent[C]//International Conference on Artificial Neural ...

DynaBERT: Dynamic BERT with Adaptive Width and Depth 論文中作者提出了新的訓練算法，同時對不同尺寸的子網絡進行訓練，通過該方法訓練后可以在推理階段直接對模型裁剪。依靠新的訓練算法，本文在效果上超越了眾多壓縮模型，比如DistillBERT ...