2. RNN神經網絡模型的不同結構


1. RNN神經網絡模型原理

2. RNN神經網絡模型的不同結構

3. RNN神經網絡-LSTM模型結構

1. 前言

RNN( Recurrent Neural Network 循環(遞歸)神經網絡) 跟人的大腦記憶差不多。我們的任何決定,想法都是根據我們之前已經學到的東西產生的。RNN通過反向傳播和記憶機制,能夠處理任意長度的序列,在架構上比前饋神經網絡更符合生物神經網絡的結構,它的產生也正是為了解決這類問題而應用而生的。今天本文介紹RNN的幾種不同的結構,有1vsN,Nvs1,NvsM等結構。

2. 1vsN RNN結構

輸入只有一個\(X\),輸出有多個\(y_1,y_2,...,y_t\)

image

這種1vsN結構的公式為:

\[h_t=f(UX+Wh_{t-1}+b) \]

\[y_t=softmax(Vh_t+c) \]

應用場景:

  • 從圖像生成文字(image caption),此時輸入的是圖像的特征,而輸出的序列是一段句子。
  • 從類別生成語言或音樂等。

3. Nvs1 RNN結構

輸入有多個\(x_1,x_2,...,x_t\),輸出只有一個\(Y\)

image

這種1vsN結構的公式為:

\[h_t=f(Ux_t+Wh_{t-1}+b) \]

\[Y=softmax(Vh_T+c) \]

應用場景:

  • 這種結構通常用來處理序列分類問題。如輸入一段文字判別所屬的類別,輸入一個句子判斷真情感傾向,輸入一段視頻並判斷它的類別等等。

4. NvsM RNN結構

在NvsM里面我們又可以再細分,如果N=M那就是一一對應的RNN結構

輸入有多個\(x_1,x_2,...,x_t\),輸出有多個\(y_1,y_2,...,y_t\)

image

應用場景:

  • 這種廣泛的用於序列標注。

另一種是N!=M的RNN結構

輸入有多個\(x_1,x_2,...,x_n\),輸出有多個\(y_1,y_2,...,y_m\)

如下所示:

image

應用場景:

  • 這種結構廣泛的用於機器翻譯,輸入一個文本,輸出另一種語言的文本。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM