改進Bert----spanBERT

SpanBert：對 Bert 預訓練的一次深度探索

SpanBERT: Improving Pre-training by Representing and Predicting Spans

解讀SpanBERT:《Improving Pre-training by Representing and Predicting Spans》

改進版BERT——SpanBERT，通過表示和預測分詞提升預訓練效果！

中文預訓練BERT-wwm（Pre-Trained Chinese BERT with Whole Word Masking）

引入了新的目標函數，span-boundary objective (SBO)。把一個句子里的一部分span進行mask，然后用mask token旁邊的token來預測masked span里的每一個token。在QA，conreference resolution, RE三個任務的數據集上實現了SOTA。 使用了外部KG，而且用了BERT large。

 

Facebook推出RoBERTa新模型，碾壓XLNet 制霸三大排行榜

哈工大訊飛聯合實驗室發布中文BERT-wwm-ext預訓練模型

改進版的RoBERTa到底改進了什么？

重回榜首的BERT改進版開源了，千塊V100、160GB純文本的大模型

 

BERT 預訓練

BERT、ERNIE以及XLNet學習記錄

Google BERT詳解