NLP中的预训练语言模型（一）—— ERNIE们和BERT-wwm
随着bert在NLP各种任务上取得骄人的战绩，预训练模型在这不到一年的时间内得到了很大的发展，本系列的文章主要是简单回顾下在bert之后有哪些比较有名的预训练模型，这一期先介绍几个国内开源的预训练模型。 一，ERNIE（清华大学&华为诺亚） 论文：ERNIE: Enhanced ...
原文：BERT-wwm、BERT-wwm-ext、RoBERTa、SpanBERT、ERNIE2
一 BERT wwm wwm是Whole Word Masking 对全词进行Mask ，它相比于Bert的改进是用Mask标签替换一个完整的词而不是子词，中文和英文不同，英文中最小的Token就是一个单词，而中文中最小的Token却是字，词是由一个或多个字组成，且每个词之间没有明显的分隔，包含更多信息的是词，全词Mask就是对整个词都通过Mask进行掩码。 例如： 论文下载链接：https: a ...
2019-11-13 20:23 0 1629 推荐指数：
相关推荐
Chinese-BERT-wwm
（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及与此技术密切相关的模型：BER ...
bert、ernie、ernie-tiny、roberta的区别
BERT、RoBerta、ERNIE模型对比和改进点总结 1、BERT总结 首先BERT是transformers的encoder部分，BERT有两大训练任务分别是： mask lm：给定一句话，随机抹去这句话中的一个或几个词，要求根据剩余词汇预测被抹去的几个词分别 ...
Bert不完全手册3. Bert训练策略优化！RoBERTa & SpanBERT
之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架，但是它提出的各种训练方式槽点较多，或多或少都有优化的空间。这一章就训练方案的改良，我们来聊聊RoBERTa和SpanBERT给出的方案，看作者这两篇paper是一个组的作品，所以彼此之间也有一些共同点。正在施工中的代码库 ...
改进Bert----spanBERT
SpanBert：对 Bert 预训练的一次深度探索 SpanBERT: Improving Pre-training by Representing and Predicting Spans 解读SpanBERT:《Improving Pre-training by Representing ...
从BERT, XLNet, RoBERTa到ALBERT
、RoBERTa再次刷新了排行榜！ALBERT是一种轻量版本的BERT，利用更好的参数来训练模型，但是效果却反而得到 ...
BERT、ERNIE以及XLNet学习记录
主要是对 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding提出的BERT 清华和华为提出的ERNIE: Enhanced Language Representation ...