Lstm這里就不說了,直接說Bilstm。
前向的LSTM與后向的LSTM結合成BiLSTM。比如,我們對“我愛中國”這句話進行編碼,模型如圖所示。
前向的依次輸入“我”,“愛”,“中國”得到三個向量{
,
,
}。后向的
依次輸入“中國”,“愛”,“我”得到三個向量{
,
,
}。最后將前向和后向的隱向量進行拼接得到{[
,
], [
,
], [
,
]},即{
,
,
}。
對於情感分類任務來說,我們采用的句子的表示往往是[,
]。因為其包含了前向與后向的所有信息,如下圖所示。