原文:Distributed Representations of Words and Phrases and their Compositionality論文閱讀及實戰

本文講解 skip gram 模型以及優化和擴展。主要包括層次 Softmax 負采樣 學習短語的表示。 先提一下詞向量: 詞向量 也叫詞嵌入,word embedding ,簡單地說就是用一個低維向量表示一個詞。由於獨熱編碼 one hot encoding 存在維度災難,即稀疏性,且無法理解詞與詞之間的內在聯系,詞向量的出現就可解決這些問題,大大簡化了操作。 特點: 維度大小是固定值 維度值是 ...

2020-04-30 20:14 0 986 推薦指數:

查看詳情

 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM