引言 在機器學習領域，語言識別和圖像識別都比較容易做到。語音識別的輸入數據可以是音頻頻譜序列向量所構成的matrix，圖像識別的輸入數據是像素點向量構成的矩陣。但是文本是一種抽象的東西，顯然不能直接把文本數據喂給機器當做輸入，因此這里就需要對文本數據進行處理。 現在，有這么一個有趣的例子 ...

語言模型 語言模型是根據語言客觀事實對語言進行抽象數學建模。可以描述為一串單詞序列的概率分布： 通過極大化L可以衡量一段文本是否更像是自然語言（根據文本出現的概率）： 函數P的核心在於，可以根據上文預測后面單詞的概率（也可以引入下文聯合預測）。 其中一種很常用的語言模型就是神經網絡 ...

目錄 簡介 預訓練任務簡介 自回歸語言模型 自編碼語言模型 預訓練模型的簡介與對比 ELMo 細節 ELMo的下游使用 GPT/GPT2 ...

自然語言處理中的語言模型預訓練方法（ELMo、GPT和BERT） 最近，在自然語言處理（NLP）領域中，使用語言模型預訓練方法在多項NLP任務上都獲得了不錯的提升，廣泛受到了各界的關注。就此，我將最近看的一些相關論文進行總結，選取了幾個代表性模型（包括ELMo [1]，OpenAI GPT ...

　　隨着bert在NLP各種任務上取得驕人的戰績，預訓練模型在這不到一年的時間內得到了很大的發展，本系列的文章主要是簡單回顧下在bert之后有哪些比較有名的預訓練模型，這一期先介紹幾個國內開源的預訓練模型。 一，ERNIE（清華大學&華為諾亞） 　　論文：ERNIE: Enhanced ...

一.ElMO 背景：Word2vec，glove和fasttext雖然能表示語義和語法信息，但是並不能夠區分一詞多義 網絡建構： 兩個單向的LSTM進行拼接，把每層拼接的中間結果之和作為輸出 Q：為啥不用BI-LSTM？ 避免傳播前后向未來要預測的信息 原理與損失函數 ...

1.什么是Bert？ Bert用我自己的話就是：使用了transformer中encoder的兩階段兩任務兩版本的語言模型 沒錯，就是有好多2，每個2有什么意思呢？ 先大體說一下，兩階段是指預訓練和微調階段，兩任務是指Mask Language和NSP任務，兩個版本是指Google發布 ...

　　本篇帶來Facebook的提出的兩個預訓練模型——SpanBERT和RoBERTa。 一，SpanBERT 　　論文：SpanBERT: Improving Pre-training by Representing and Predicting Spans 　　GitHub：https ...