梳理NLP预训练模型
在2017年之前，语言模型都是通过RNN，LSTM来建模，这样虽然可以学习上下文之间的关系，但是无法并行化，给模型的训练和推理带来了困难，因此有人提出了一种完全基于attention来对语言建模的模型，叫做transformer。transformer摆脱了NLP任务对于RNN，LSTM的依赖 ...
相关推荐
NLP中的预训练语言模型（二）—— Facebook的SpanBERT和RoBERTa
本篇带来Facebook的提出的两个预训练模型——SpanBERT和RoBERTa。 一，SpanBERT 论文：SpanBERT: Improving Pre-training by Representing and Predicting Spans GitHub：https ...
NLP中的预训练语言模型（五）—— ELECTRA
这是一篇还在双盲审的论文，不过看了之后感觉作者真的是很有创新能力，ELECTRA可以看作是开辟了一条新的预训练的道路，模型不但提高了计算效率，加快模型的收敛速度，而且在参数很小也表现的非常好。 论文：ELECTRA: PRE-TRAINING TEXT ENCODERS AS DIS ...
NLP预训练模型＋模型蒸馏与压缩
一、分布式词表示（直接使用低维、稠密、连续的向量表示词）（静态的表示） 1、Word2Vec 训练方法：用中心词预测周围词。 局限性：Word2Vec产生的词向量只有每个单词独立的信息，而没有上下文的信息。 2、Glove Global Vector for Word ...
NLP中的预训练技术
关于NLP领域内预训练的一些知识。记得很杂乱，主要用于个人理解，精华内容在学习资料。 一. 学习资料 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert ...
NLP与深度学习（五）BERT预训练模型
1. BERT简介 Transformer架构的出现，是NLP界的一个重要的里程碑。它激发了很多基于此架构的模型，其中一个非常重要的模型就是BERT。 BERT的全称是Bidirectional Encoder Representation from Transformer，如名称所示 ...
预训练模型——开创NLP新纪元
预训练模型——开创NLP新纪元 论文地址 BERT相关论文列表 清华整理-预训练语言模型 awesome-bert-nlp BERT Lang Street huggingface models 论文贡献 对如今自然语言处理研究中常用的预训练模型进行了全面的概述，包括 ...
NLP中的预训练语言模型（一）—— ERNIE们和BERT-wwm
随着bert在NLP各种任务上取得骄人的战绩，预训练模型在这不到一年的时间内得到了很大的发展，本系列的文章主要是简单回顾下在bert之后有哪些比较有名的预训练模型，这一期先介绍几个国内开源的预训练模型。 一，ERNIE（清华大学&华为诺亚） 论文：ERNIE: Enhanced ...