lstm bilstm gru 之間的區別


lstm和bilstm 之間的區別

lstm是97年提出,gru是14年提出。

***************************  https://www.cnblogs.com/syw-home/p/13233989.html   *****************************

bilstm是前后lstm和后向lstm的組合

bilstm  lstm建模存在一個問題,無法編碼從后向前的信息,例如"這個餐廳臟的不行",不行是修飾臟的程度,只有bilstm增加了反向的信息才能捕獲到雙向語義。

bilstm是前后lstm和后向lstm結合成bilstm。

 

 

 前向的lstm對依次輸入的  我 愛  中國  得到的三個向量   h1  h2  h3,后向lstm依次輸入的是中國  愛  我   依次得到的是k1  k2  k3,最后將前向和后向的隱向量進行拼接得到   [h1,k1],[h2,k2],[h3,k3]

 

 

**************************************************原文   https://blog.csdn.net/u012223913/article/details/77724621  *************************

lstm和gru區別

1 gru和lstm的性能在很多任務上差不多

2  gru參數更少,更容易收斂,但是在數據集上很大的情況下,lstm表達性能更好

3  從結果上來說,gru只有兩個門,lstm有三個門,gru直接把hidden state 傳給下一個單元,而lstm則用cell 把hidden state包裝起來。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM