[NLP]LSTM理解
簡介 LSTM(Long short-term memory,長短期記憶)是一種特殊的RNN，主要是為了解決長序列訓練過程中的梯度消失問題。以下先從RNN介紹。 簡說RNN RNN(Rec ...
原文：NLP理解層次
: : : : 備注：大部分內容轉自知乎謝春霖 NLP理解層次：對一個事情的理解，我們可以分為 個理解層次 精神 精神是什么意思 就是你與世界的關系。也就是我們經常聽到的 人生使命 ，你來到這個世界是為了什么 你能為別人，為社會，為整個人類帶來什么 這個世界會因為你而有什么不同 身份 你之所以有時候會不知道該如何選擇，除了對某些概念不清楚之外，最重要的就是你不知道自己想成為怎么樣的一個人。角色是 ...
2020-10-04 09:48 0 728 推薦指數：
相關推薦
[NLP]ELMO理解
論文地址：https://arxiv.org/pdf/1802.05365.pdf 簡介 以往的詞向量如word2vec、glove等詞向量模型，針對某一個詞生成的詞向量都是固定的，無法解決 ...
[NLP]BERT論文理解
論文地址：https://arxiv.org/pdf/1810.04805.pdf 簡介 bert是google2018年提出的一種兩階段語言模型，全稱Bidirectional Encod ...
[NLP]XLNet論文理解
論文地址：https://arxiv.org/pdf/1906.08237.pdf 簡介 XLNet是一個類似BERT的模型，但是它采用了通用的自回歸預訓練方法(AR模型)，而基於DAE的Bert ...
閱讀理解力的四個層次
學習能力很重要。閱讀只是其中一種方式。閱讀是輸入，表達是輸出，有時以為看過就算是懂了書中的內容，實際上卻是一種假懂的狀態，因為只是了解文字表面的意思，所以在講述心得的時候，只會在腦中不斷地 ...
word2vec層次化softmax理解
在外網發現一篇把word2vec的hierarchical softmax優化講得比較好的博客，詳見：http://building-babylon.net/2017/08/01/hierarchical-softmax/ 總結： 1、層次化softmax是為了解決用softmax進行V分類時 ...
[NLP]subword理解：BPE，WordPiece，ULM
構建詞表是NLP任務中的一個基本要求，傳統的方法是對各個句子進行分詞，然后選取頻率最高的N個詞組成詞表。但是這樣的做法不可避免的會帶來一些問題，如OOV問題，低頻次/稀疏詞的語義很難獲取（因為沒有訓練）等。 為解決上述問題，提出了subword模型。該模型的划分粒度介於詞與字符之間 ...
對NLP中transformer里面decoder的理解
剛接觸NLP這塊，有兩個關於transformer的問題： 1）為什么要有decoder？如果encoder后面直接接全連接不可以嗎？ 2）為什么decoder要有mask？為什么要按時間步一個字一個字翻譯？這樣的話，是不是英語從句翻譯成漢語就不可行，比如 He is a person who ...