深度學習原理與框架-RNN網絡框架-LSTM框架 1.控制門單元 2.遺忘門單元 3.記憶門單元 4.控制門單元更新 5.輸出門單元 6.LSTM網絡結構


LSTM網絡是有LSTM每個單元所串接而成的, 從下面可以看出RNN與LSTM網絡的差異,

LSTM主要有控制門單元和輸出門單元組成

控制門單元又是由遺忘門單元和記憶門單元的加和組成。

1.控制門單元, 與最后的輸出層做相乘操作,決定什么樣的信息會被保留

2.遺忘門單元:上一層的控制門單元Ct-1直接與ft進行相乘操作,決定什么樣的信息會被遺棄

3.記憶門單元: 將輸入的結果it 與 新數據形成的控制參數,進行相乘操作,決定什么樣的數據會被保留

4.控制門單元的更新操作Ct, 即將記憶門單元和遺忘門單元進行加和,組成了控制門單元傳入到下一個階段

5.輸出門單元: 將輸出ot與控制門單元進行結合,獲得當前隱藏層的輸出結果,也可以用來做當前層的預測結果

 

6.最后LSTM的展示結構,是由多個LSTM單元所組成的

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM