RNN簡介
循環神經網絡的主要用途是處理和預測序列數據。
RNN的網絡結構
1、循環神經網絡的經典結構
從網絡結構上，循環神經網絡會記憶之前的信息，並利用之前的信息影響后面節點的輸出。
參數共享思想：由於模塊A中的運算和變量在不同時刻是相同的，因此循環神經網絡理論上可以看作是同一神經網絡被無限復制的結果。循環神經網絡在不同的位置共享參數，從而使有限的參數處理任意長度的序列。
2、循環神經網絡按時間展開后的結構
將循環神經網絡對長度為N的序列展開后，可視為一個有着N個中間層的前饋神經網絡。對於一個序列數據，可以將這個序列上不同時刻的數據依次傳入循環神經網絡的輸入層，輸出時可以是對下一個時刻的預測，也可以是對當前時刻信息處理的結果。循環神經網絡要求每一個時刻都有一個輸入，但不一定每個時刻都需要有輸出。
3、循環神經網絡實現機器翻譯示意圖
機器翻譯的網絡結構可以分為兩部分：encoder和decoder。簡單描述一下機器翻譯的過程，假設機器翻譯的的句子是ABCD，那么循環神經網絡的第一個時刻的輸入分別是A、B、C、D，然后用第一個 _ 作為開始翻譯的提示符。在翻譯的過程中每一個時刻的輸入都是上一個時刻的輸出，當預測輸出為 _ 時翻譯結束，得到的XYZ就是ABCD的翻譯結果。