从BERT, XLNet, RoBERTa到ALBERT
原文地址：https://zhuanlan.zhihu.com/p/84559048 拜读贪心科技李文哲老师的文章，我做个笔记。 摘抄记录如下： 谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD 2.0、GLUE、RACE等任务上超越了BERT、XLNet ...
原文：BERT、ERNIE以及XLNet学习记录
主要是对 BERT: Pre training of Deep Bidirectional Transformers forLanguage Understanding提出的BERT 清华和华为提出的ERNIE: Enhanced Language Representation with Informative Entities 百度提出的ERNIE: Enhanced Representatio ...
2019-06-02 11:04 0 564 推荐指数：
相关推荐
bert、ernie、ernie-tiny、roberta的区别
BERT、RoBerta、ERNIE模型对比和改进点总结 1、BERT总结 首先BERT是transformers的encoder部分，BERT有两大训练任务分别是： mask lm：给定一句话，随机抹去这句话中的一个或几个词，要求根据剩余词汇预测被抹去的几个词分别 ...
XLNet：运行机制及和Bert的异同比较
这两天，XLNet貌似也引起了NLP圈的极大关注，从实验数据看，在某些场景下，确实XLNet相对Bert有很大幅度的提升。就像我们之前说的，感觉Bert打开两阶段模式的魔法盒开关后，在这条路上，会有越来越多的同行者，而XLNet就是其中比较引人注目的一位。 当然，我估计很快我们会看到更多 ...
Transformer 和 Transformer-XL——从基础框架理解BERT与XLNet
目录写在前面1. Transformer1.1 从哪里来？1.2 有什么不同？1.2.1 Scaled Dot-Product Attention1.2.2 Multi-Head Attention1 ...
BERT、MT-DNN、GPT2.0、ERNIE
目前效果较好的大部分的nlp任务都会应用预训练语言模型的迁移知识，主要是采用两阶段的模型。第一阶段进行预训练，一般是训练一个语言模型。最出名的是BERT,BERT的预训练阶段包括两个任务，一个是Masked Language Model，还有一个是Next Sentence Prediction ...
Bert不完全手册4. 绕开BERT的MASK策略？XLNET & ELECTRA
基于随机token MASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题 MASK的不一致性：MASK只在预训练任务中存在，在微调中不存在，Bert只是通过替换部分的随机MASK来降低不一致性的影响 独立性假设：对MASK的预测是基于独立概率而不是联合概率 ...
BERT-wwm、BERT-wwm-ext、RoBERTa、SpanBERT、ERNIE2
一、BERT-wwm wwm是Whole Word Masking（对全词进行Mask），它相比于Bert的改进是用Mask标签替换一个完整的词而不是子词，中文和英文不同，英文中最小的Token就是一个单词，而中文中最小的Token却是字，词是由一个或多个字组成，且每个词之间没有明显的分隔，包含 ...