背景
神經網絡，卷積神經網絡等其他深度學習算法，都有個局限性，各個輸入在算法內部是相對獨立的。比如：‘星際爭霸有意思，我愛玩’這句話，是有上下文關系的。
如果放在其他網絡里面，各個分詞將會獨立處理。但是在rnn里面，可以將上文記憶下來，做為下文的運算基礎。
總之：rnn適合用來解決具有上下文關系的算法問題。
RNN基本概念
t表示序列（時間，空間都行，反正是有序的）。
在t時刻，接受到輸入Xt之后，隱藏層的值為St,輸出層的值是Ot。(這里的St不僅僅取決於Xi,還取決於上一個隱藏層St-1的值)
即：
\[s_t=f_1(Ux_t+Ws_{t-1}) (S_0為0矩陣) o_t=f_2(vs_t) \]
其中f代表各個層上面的激活函數
從這個式子中，清晰的看到，后面的輸出依賴於前文。
LSTM基本概念
Long Short Term 網絡，一般就叫做 LSTM ，是一種 RNN 特殊的類型
RNN的記憶是長記憶，一開始的記憶會一直保持到最后.利用BP算法訓練網絡時容易出現梯度消失的問題，當序列很長的時候問題尤其嚴重，因此RNN模型一般不能直接應用。而較為廣泛使用的是RNN的一個特例LSTM
