1.循環神經網絡的標准模型
- 前饋神經網絡能夠用來建立數據之間的映射關系，但是不能用來分析過去信號的時間依賴關系，而且要求輸入樣本的長度固定
- 循環神經網絡是一種在前饋神經網絡中增加了分虧鏈接的神經網絡，能夠產生對過去數據的記憶狀態，所以可以用於對序列數據的處理，並建立不同時段數據之間的依賴關系
- 循環神經網絡是一類允許節點連接成有向環的人工神經網絡。如下圖：
2.循環神經網絡與遞歸神經網絡
- 從廣義上說，遞歸神經網絡可以分為結構遞歸神經網絡和時間遞歸神經網絡
- 從狹義上說，遞歸神經網絡可以通常就是指結構遞歸神經網絡，而時間遞歸神經網絡則被稱為循環神經網絡
3.標准循環神經網絡的結構類型（兩種）
不妨設t時刻，網絡的輸入向量為x(t),隱含向量為h(t),網絡的輸出向量是o(t),用V表示輸入層與隱含層之間的連接權值，U表示隱含層與隱含層之間的連接權值，W表示隱含層與輸出層之間的連接權值，b和a表示隱含層的輸出層的偏置
Elman網絡：
- 網絡結構如下圖：
- Elman網絡包含從隱含節點到上下文節點的反饋鏈接，以及從上下文節點調到隱含節點的前饋鏈接，其中上下文節點的輸入是隱含層上一時刻的輸出
- Elman網絡從0時刻到T時刻的計算過程可以描述為：
Jordan網絡：
- 網絡結構如下圖：
- Jordan網絡包含從輸出節點到上下文節點的反饋，以及從上下文節點到隱含節點的前饋鏈接，其中上下文節點的輸入是輸出層上一時刻的輸出。此外，Jordan網絡的上下文節點允許自連接
- Jordan網絡從0時刻到T時刻的計算過程可以描述為：
4.長短時記憶網絡（long short-term memory，LSTM）
- 長短時記憶網絡(LSTM network)，又稱為長短時記憶循環網絡，是一種在經典循環神經網絡的基礎上發展起來的改進模型。
- LSTM網絡的特點在於利用記憶模塊代替普通的隱含節點，確保梯度在傳遞跨越很多時間步驟之后不消失或爆炸，從而能夠克服傳統循環神經網絡訓練中遇到的某些困難
- 長短時記憶網絡非常適合於從經驗中學習分類，以及處理和預測那些在重要事件之間存在未知時長延遲的時間序列
- 循環神經網絡和長短時記憶網絡之間的對應關系如下圖所示：
5.傳統記憶塊組成
- 傳統記憶塊有一個或者多個具有內部狀態的記憶細胞（memory sell）、一個輸入擠壓單元（input squashing unit）、一個輸入門控單元（input gating unit）、一個輸入門單元（input gate unit）、一個輸出門單元（output gate unit）、一個輸出擠壓單元（outnput squashing unit）、和一個輸出門控單元（output gating unit）幾部分組成。
