Embedding是什么?詳解nn.Embedding


Embedding是什么?

其為一個簡單的存儲固定大小的詞典的嵌入向量的查找表,意思就是說,給一個編號,嵌入層就能返回這個編號對應的嵌入向量,嵌入向量反映了各個編號對應的符號的語義信息(蘊含了所有符號的語義關系)。

輸入為一個編號列表,輸出為對應的符號嵌入向量列表。

pytorch中的使用

#建立詞向量層
embed = torch.nn.Embedding(n_vocabulary,embedding_size)

簡單解釋

embeding是一個詞典,可以學習。
如:nn.Embedding(2, num_hiddens)就是一個embedding。
輸入索引,可以查到對應的向量值。
segments = torch.tensor([[0, 0, 0, 0, 1, 1, 1, 1], [0, 0, 0, 1, 1, 1, 1, 1]])就是一個segment的索引矩陣,用self.segment_embedding(segments)之后就可以得到它的向量值。

引用


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM