参考：NLP重铸篇之对抗文本攻击 论文源码： github 作者提出了一种对抗样本生成算法TEXTFOOLER。 论文中，作者使用这种方法，对文本分类与文本蕴含两种任务做了测试，成功的攻击了这两种任务的相关模型，包括：BERT,CNN,LSTM,ESIM等等。 问题定义 一个有效的样本：和原样本近似。 给定文本x，以及训练好的模型F，F x y，一个有效的对抗样本要满足: 其中是相似度函数，值域在 ...
2020-06-03 14:36 0 832 推荐指数：
摘要：预训练语言模型如BERT等已经极大地提高了多项自然处理任务的性能，然而预训练语言模型通常具需要很大计算资源，所以其很难在有限的资源设备上运行。为了加速推理、减小模型的尺寸而同时保留精度，首先提出了一个新颖的迁移蒸馏方法，它是一种基于迁移方法的知识蒸馏思路。利用整个新颖的KD方法，大量 ...
参考：机器之心 论文：Pre-trained Models for Natural Language Processing: A Survey 首先简要介绍了语言表示学习及相关研究进展； 其次从四个方面对现有 PTM (Pre-trained Model) 进行系统分类 ...
论文地址： https://hal.inria.fr/hal-02131630/document 作者 ： Ganesh Jawahar, Benoît Sagot, Djamé Seddah 机构 ： Inria 研究的问题： 探究BERT的深层次表征学习的论文，也就是通过实验研究 ...
文章名《How to Fine-Tune BERT for Text Classification》，2019，复旦大学 如何在文本分类中微调BERT模型？ 摘要：预训练语言模型已经被证明在学习通用语言表示方面有显著效果，作为一种最先进的预训练语言模型，BERT在多项理解任务中取得了惊人的成果 ...
本文介绍的是斯坦福自然语言处理工具的升级版：Stanza,在v1.0.0之前，这个工具被称为StanfordNLP。 2021年了，今天想使用斯坦福自然语言处理工具发现人家升级了，不用安装JDK了， ...
论文地址：https://www.aclweb.org/anthology/P19-1103/ 已有研究工作： 在文本的对抗样本领域，因为有词嵌入的存在，很难将特征空间的扰动向量映射到词汇表中的有效单词。因此在CV领域的方法不能直接用于NLP领域，一般的方法是在词级别或者字符级别直接修改 ...
https://blog.csdn.net/BitCs_zt/article/details/82938086 列出自己阅读的text classification论文的列表，以后有时间再整理相应的笔记。阅读价值评分纯粹是基于自己对于文章的理解，标准包括：动机、方法、数据集质量、实验安排、相关 ...
前面曾提到过CTPN，这里就学习一下，首先还是老套路，从论文学起吧。这里给出英文原文论文网址供大家阅读：https://arxiv.org/abs/1609.03605。 CTPN，以前一直认为缩写一般是从题目的开始依次排序选取首字母的，怕是孤陋寡闻了，全称 ...
