RNN
一般神經網絡隱層的計算是h=g(w * x)，其中g是激活函數，相比於一般神經網絡，RNN需要考慮之前序列的信息，因此它的隱藏h的計算除了當前輸入還要考慮上一個狀態的隱藏，h=g(w*x+w'*h')，其中h'是上一次計算的隱層，可見信息傳遞是通過隱層完成的。
LSTM
有上面普通RNN可以知道，每個狀態下的RNN輸入實際有兩個，上一個隱藏h'以及當前輸入x。RNN有個問題是對序列中的各個狀態都是等同對待的，如果某個狀態很重要，是無法長期影響后面的輸出的。LSTM為了解決這個問題提出了類似於門控的想法，三個門控信號均有h'和x計算得到，分別是遺忘門、記憶門和輸出門。遺忘門和記憶門用來融合當前候選隱層狀態和上一時刻的隱層狀態得到"傳遞信息"，最后在輸出門的控制下根據當前"傳遞信息"再計算一個隱層和輸出層。
GRU