Embedding是什么?
其為一個簡單的存儲固定大小的詞典的嵌入向量的查找表,意思就是說,給一個編號,嵌入層就能返回這個編號對應的嵌入向量,嵌入向量反映了各個編號對應的符號的語義信息(蘊含了所有符號的語義關系)。
輸入為一個編號列表,輸出為對應的符號嵌入向量列表。
pytorch中的使用
#建立詞向量層
embed = torch.nn.Embedding(n_vocabulary,embedding_size)
簡單解釋
embeding是一個詞典,可以學習。
如:nn.Embedding(2, num_hiddens)
就是一個embedding。
輸入索引,可以查到對應的向量值。
segments = torch.tensor([[0, 0, 0, 0, 1, 1, 1, 1], [0, 0, 0, 1, 1, 1, 1, 1]])
就是一個segment的索引矩陣,用self.segment_embedding(segments)
之后就可以得到它的向量值。