詳解循環神經網絡(Recurrent Neural Network)

本文結構：

1. 模型
2. 訓練算法
3. 基於 RNN 的語言模型例子
4. 代碼實現

---

1. 模型

• 和全連接網絡的區別
• 更細致到向量級的連接圖
• 為什么循環神經網絡可以往前看任意多個輸入值

循環神經網絡種類繁多，今天只看最基本的循環神經網絡，這個基礎攻克下來，理解拓展形式也不是問題。

首先看它和全連接網絡的區別：

下圖是一個全連接網絡：
它的隱藏層的值只取決於輸入的 x

 

 

而 RNN 的隱藏層的值 s 不僅僅取決於當前這次的輸入 x，還取決於上一次隱藏層的值 s：
這個過程畫成簡圖是這個樣子：

 

 

其中，t 是時刻， x 是輸入層， s 是隱藏層， o 是輸出層，矩陣 W 就是隱藏層上一次的值作為這一次的輸入的權重。

上面的簡圖還不能夠說明細節，來看一下更細致到向量級的連接圖：

 

Elman network

Elman and Jordan networks are also known as "simple recurrent networks" (SRN).

其中各變量含義：

 

 

輸出層是一個全連接層，它的每個節點都和隱藏層的每個節點相連，
隱藏層是循環層。

圖來自wiki：https://en.wikipedia.org/wiki/Recurrent_neural_network#Gated_recurrent_unit

為什么循環神經網絡可以往前看任意多個輸入值呢？

來看下面的公式，即 RNN 的輸出層 o 和 隱藏層 s 的計算方法：

 

 

如果反復把式 2 帶入到式 1，將得到：

 

 

這就是原因。

---

2. 訓練算法

RNN 的訓練算法為：BPTT

BPTT 的基本原理和 BP 算法是一樣的，同樣是三步：

• 1. 前向計算每個神經元的輸出值；
• 2. 反向計算每個神經元的誤差項值，它是誤差函數E對神經元j的加權輸入的偏導數；
• 3. 計算每個權重的梯度。

最后再用隨機梯度下降算法更新權重。

BP 算法的詳細推導可以看這篇：
手寫，純享版反向傳播算法公式推導
http://www.jianshu.com/p/9e217cfd8a49

下面詳細解析各步驟：

1. 前向計算

計算隱藏層 S 以及它的矩陣形式：
注意下圖中，各變量的維度，標在右下角了，
s 的上標代表時刻，下標代表這個向量的第幾個元素。

 

1

2. 誤差項的計算

BTPP 算法就是將第 l 層 t 時刻的誤差值沿兩個方向傳播：

• 一個方向是，傳遞到上一層網絡，這部分只和權重矩陣 U 有關；（就相當於把全連接網絡旋轉90度來看）
• 另一個是方向是，沿時間線傳遞到初始時刻，這部分只和權重矩陣 W 有關。

如下圖所示：

 

 

所以，就是要求這兩個方向的誤差項的公式：

學習資料中式 3 就是將誤差項沿時間反向傳播的算法，求到了任意時刻k的誤差項

 

 

下面是具體的推導過程：
主要就是用了 鏈鎖反應 和 Jacobian 矩陣

 

2

其中 s 和 net 的關系如下，有助於理解求導公式：

 

 

---

學習資料中式 4 就是將誤差項傳遞到上一層算法：

 

 

這一步和普通的全連接層的算法是完全一樣的，具體的推導過程如下：

 

3

其中 net 的 l 層 和 l－1 層的關系如下：

 

 

---

BPTT 算法的最后一步：計算每個權重的梯度
學習資料中式 6 就是計算循環層權重矩陣 W 的梯度的公式：

 

 

具體的推導過程如下：

 

4

---

和權重矩陣 W 的梯度計算方式一樣，可以得到誤差函數在 t 時刻對權重矩陣 U 的梯度：

 

 

---

3. 基於 RNN 的語言模型例子

我們要用 RNN 做這樣一件事情，每輸入一個詞，循環神經網絡就輸出截止到目前為止，下一個最可能的詞，如下圖所示：

 

 

首先，要把詞表達為向量的形式：

• 建立一個包含所有詞的詞典，每個詞在詞典里面有一個唯一的編號。
• 任意一個詞都可以用一個N維的one-hot向量來表示。

 

 

這種向量化方法，我們就得到了一個高維、稀疏的向量，這之后需要使用一些降維方法，將高維的稀疏向量轉變為低維的稠密向量。

為了輸出 “最可能” 的詞，所以需要計算詞典中每個詞是當前詞的下一個詞的概率，再選擇概率最大的那一個。

因此，神經網絡的輸出向量也是一個 N 維向量，向量中的每個元素對應着詞典中相應的詞是下一個詞的概率：

 

 

為了讓神經網絡輸出概率，就要用到 softmax 層作為輸出層。

softmax函數的定義：
因為和概率的特征是一樣的，所以可以把它們看做是概率。

 

 

例：

 

 

計算過程為：

 

 

含義就是：
模型預測下一個詞是詞典中第一個詞的概率是 0.03，是詞典中第二個詞的概率是 0.09。

語言模型如何訓練？

把語料轉換成語言模型的訓練數據集，即對輸入 x 和標簽 y 進行向量化，y 也是一個 one-hot 向量

 

 

接下來，對概率進行建模，一般用交叉熵誤差函數作為優化目標。

交叉熵誤差函數，其定義如下：

 

 

用上面例子就是：

 

 

計算過程如下：

 

 

有了模型，優化目標，梯度表達式，就可以用梯度下降算法進行訓練了。

---

4. 代碼實現

RNN 的 Python 實現代碼可以在學習資料中找到。