從BERT, XLNet, RoBERTa到ALBERT
原文地址：https://zhuanlan.zhihu.com/p/84559048 拜讀貪心科技李文哲老師的文章，我做個筆記。 摘抄記錄如下： 谷歌Lab近日發布了一個新的預訓練模型"ALBERT"全面在SQuAD 2.0、GLUE、RACE等任務上超越了BERT、XLNet ...
原文：BERT、ERNIE以及XLNet學習記錄
主要是對 BERT: Pre training of Deep Bidirectional Transformers forLanguage Understanding提出的BERT 清華和華為提出的ERNIE: Enhanced Language Representation with Informative Entities 百度提出的ERNIE: Enhanced Representatio ...
2019-06-02 11:04 0 564 推薦指數：
相關推薦
bert、ernie、ernie-tiny、roberta的區別
BERT、RoBerta、ERNIE模型對比和改進點總結 1、BERT總結 首先BERT是transformers的encoder部分，BERT有兩大訓練任務分別是： mask lm：給定一句話，隨機抹去這句話中的一個或幾個詞，要求根據剩余詞匯預測被抹去的幾個詞分別 ...
XLNet：運行機制及和Bert的異同比較
這兩天，XLNet貌似也引起了NLP圈的極大關注，從實驗數據看，在某些場景下，確實XLNet相對Bert有很大幅度的提升。就像我們之前說的，感覺Bert打開兩階段模式的魔法盒開關后，在這條路上，會有越來越多的同行者，而XLNet就是其中比較引人注目的一位。 當然，我估計很快我們會看到更多 ...
Transformer 和 Transformer-XL——從基礎框架理解BERT與XLNet
目錄寫在前面1. Transformer1.1 從哪里來？1.2 有什么不同？1.2.1 Scaled Dot-Product Attention1.2.2 Multi-Head Attention1 ...
BERT、MT-DNN、GPT2.0、ERNIE
目前效果較好的大部分的nlp任務都會應用預訓練語言模型的遷移知識，主要是采用兩階段的模型。第一階段進行預訓練，一般是訓練一個語言模型。最出名的是BERT,BERT的預訓練階段包括兩個任務，一個是Masked Language Model，還有一個是Next Sentence Prediction ...
Bert不完全手冊4. 繞開BERT的MASK策略？XLNET & ELECTRA
基於隨機token MASK是Bert能實現雙向上下文信息編碼的核心。但是MASK策略本身存在一些問題 MASK的不一致性：MASK只在預訓練任務中存在，在微調中不存在，Bert只是通過替換部分的隨機MASK來降低不一致性的影響 獨立性假設：對MASK的預測是基於獨立概率而不是聯合概率 ...
BERT-wwm、BERT-wwm-ext、RoBERTa、SpanBERT、ERNIE2
一、BERT-wwm wwm是Whole Word Masking（對全詞進行Mask），它相比於Bert的改進是用Mask標簽替換一個完整的詞而不是子詞，中文和英文不同，英文中最小的Token就是一個單詞，而中文中最小的Token卻是字，詞是由一個或多個字組成，且每個詞之間沒有明顯的分隔，包含 ...