参考：NLP重铸篇之对抗文本攻击 [ 论文源码： github ] 作者提出了一种对抗样本生成算法TEXTFOOLER。 论文中，作者使用这种方法，对文本分类与文本蕴含两种任务做了测试，成功的攻击了这两种任务的相关模型，包括：BERT,CNN,LSTM,ESIM等等。 问题定义 ...

最近做项目看了一篇论文《Learn to See in the Dark》下面是一些论文笔记 概括： 　　这篇论文主要介绍的是在低光照的环境下用两个标准的FCN网络，通过控制变量法来对比不同的去噪，增加信噪比（SNR）的方案，最终找到一个很好的解决方案。下面是详细介绍： 图片噪声影响 ...

摘要：预训练语言模型如BERT等已经极大地提高了多项自然处理任务的性能，然而预训练语言模型通常具需要很大计算资源，所以其很难在有限的资源设备上运行。为了加速推理、减小模型的尺寸而同时保留精度，首先提出了一个新颖的迁移蒸馏方法，它是一种基于迁移方法的知识蒸馏思路。利用整个新颖的KD方法，大量 ...

key value 论文名称 LEX-BERT: Enhancing BERT based NER with lexicons 一作 Wei Zhu 单位 ...

参考：机器之心 论文：Pre-trained Models for Natural Language Processing: A Survey 首先简要介绍了语言表示学习及相关研究进展； 其次从四个方面对现有 PTM (Pre-trained Model) 进行系统分类 ...

本文把对抗训练用到了预训练和微调两个阶段，对抗训练的方法是针对embedding space，通过最大化对抗损失、最小化模型损失的方式进行对抗，在下游任务上取得了一致的效果提升。有趣的是，这种对抗训练方法不仅能够在BERT上有提高，而且在RoBERTa这种已经预训练好的模型上也能有 ...

论文信息：Hochreiter S, Younger A S, Conwell P R. Learning to learn using gradient descent[C]//International Conference on Artificial Neural ...

DynaBERT: Dynamic BERT with Adaptive Width and Depth 论文中作者提出了新的训练算法，同时对不同尺寸的子网络进行训练，通过该方法训练后可以在推理阶段直接对模型裁剪。依靠新的训练算法，本文在效果上超越了众多压缩模型，比如DistillBERT ...