循環神經網絡rnn與長短時記憶神經網絡簡述（07-2）

通俗理解rnn和lstm區別

RNN

循環神經網絡主要適合處理有連續特征的數據（序列數據），比如語音、文本等

 　　對於自然語言處理來講，通常我們會首先對一段話進行分詞，將分好后的詞$X_0,X_1,X_2...X_t$依次輸入其中，前面的每個詞經過rnn中的A（類似於bp神經網絡結構）后，都會對A產生影響，從而對后面詞的輸出產生影響，來完成對一整段連續數據的處理，例如機器翻譯，輸出這段文本的分類等。

　　rnn在A向后傳播的時候，后面詞對輸出的影響會逐漸減弱，這樣就會導致只有前面的詞對結果的影響比較大，針對這種缺陷，大神們又推出了rnn的變種LSTM（長短時記憶網絡）

 

 LSTM

        

　　上圖左邊是lstm的基本神經元結構，信號從圖的下方輸入，從圖的上方輸出，關鍵的是 他的三個門，輸入門（Input Gate）、遺忘門(Forget Gate)、輸出門(Output Gate)，這三個門的參數初始值都是隨機初始化的，通過帶標簽的數據進行訓練，最終得到相應的值，比如lstm模型中某個神經元的輸入門是0.133221,遺忘門是0.233345，輸出門是0.89893。

　　上圖是lstm的整體數據處理的過程，通過各種門可以非常好的控制什么信號可以輸入、什么信號不能輸入、什么時候能輸出（序列數據時序很重要，如機器翻譯）還有在隱藏層里的數據在向后傳的時候忘記還是不忘記。

 

 

目錄：

1. tensorflow簡介、目錄
2. tensorflow中的圖（02-1）
3. tensorflow變量的使用（02-2）
4. tensorflow中的Fetch、Feed（02-3）
5. tensorflow版helloworld---擬合線性函數的k和b（02-4）
6. tensorflow非線性回歸（03-1）
7. MNIST手寫數字分類simple版（03-2）
8. 二次代價函數、交叉熵(cross-entropy)、對數似然代價函數（log-likelihood cost）(04-1)
9. 多層網絡通過防止過擬合，增加模型的准確率（04-2）
10. 修改優化器進一步提升准確率（04-3）
11. 手寫數字識別-卷積神經網絡cnn（06-2）
12. 循環神經網絡rnn與長短時記憶神經網絡簡述（07-2）
13. 循環神經網絡lstm代碼實現（07-3）
14. tensorflow模型保存和使用08
15. 下載inception v3  google訓練好的模型並解壓08-3
16. 使用inception v3做各種圖像分類識別08-4
17. word2vec模型訓練簡單案例
18. word2vec+textcnn文本分類簡述及代碼