1. RNN神經網絡模型原理
2. RNN神經網絡模型的不同結構
3. RNN神經網絡-LSTM模型結構
1. 前言
RNN( Recurrent Neural Network 循環(遞歸)神經網絡) 跟人的大腦記憶差不多。我們的任何決定，想法都是根據我們之前已經學到的東西產生的。RNN通過反向傳播和記憶機制，能夠處理任意長度的序列，在架構上比前饋神經網絡更符合生物神經網絡的結構，它的產生也正是為了解決這類問題而應用而生的。今天本文介紹RNN的幾種不同的結構，有1vsN,Nvs1,NvsM等結構。
2. 1vsN RNN結構
輸入只有一個\(X\)，輸出有多個\(y_1,y_2,...,y_t\)
這種1vsN結構的公式為：
\[h_t=f(UX+Wh_{t-1}+b) \]
\[y_t=softmax(Vh_t+c) \]
應用場景：
- 從圖像生成文字（image caption），此時輸入的是圖像的特征，而輸出的序列是一段句子。
- 從類別生成語言或音樂等。
3. Nvs1 RNN結構
輸入有多個\(x_1,x_2,...,x_t\)，輸出只有一個\(Y\)
這種1vsN結構的公式為：
\[h_t=f(Ux_t+Wh_{t-1}+b) \]
\[Y=softmax(Vh_T+c) \]
應用場景：
- 這種結構通常用來處理序列分類問題。如輸入一段文字判別所屬的類別，輸入一個句子判斷真情感傾向，輸入一段視頻並判斷它的類別等等。
4. NvsM RNN結構
在NvsM里面我們又可以再細分，如果N=M那就是一一對應的RNN結構
輸入有多個\(x_1,x_2,...,x_t\)，輸出有多個\(y_1,y_2,...,y_t\)
應用場景：
- 這種廣泛的用於序列標注。
另一種是N!=M的RNN結構
輸入有多個\(x_1,x_2,...,x_n\)，輸出有多個\(y_1,y_2,...,y_m\)
如下所示：
應用場景：
- 這種結構廣泛的用於機器翻譯，輸入一個文本，輸出另一種語言的文本。