前饋神經網絡-反向傳播(Back Propagation)公式推導走讀

 

構造：輸入神經元個數等於輸入向量維度，輸出神經元個數等於輸出向量維度。（x1=(1,2,3),則需要三個輸入神經元

 

一 前向后傳播

 

隱層：

輸出層：

 

一般化 ，向量表示  

 

 

二 反向傳播

 

 

1計算梯度delta：均方誤差，利用了sigmoid函數導數的有趣性。

輸出層梯度： -->  eg. 

隱層梯度：   -->   eg. 

 

 

2 更新權重：

eg輸出層：

eg隱層：

 

---

 

備注 反向傳播的公式推導

0目標函數：

1梯度下降法優化目標函數 ， 怎么計算出誤差對於每個權重的偏導數呢？

2netj是第j個神經元的加權輸入作為傳導，鏈式求導法則 ：  ,。

                   

區分 輸出層和 隱藏層兩種情況：

3.1 輸出層： 借用yj作為傳導，netj和Ed都是與yj有關的函數，鏈式求導法則：

第一項：      第二項：

帶入 ，所以 輸出層梯度：

 

3.2隱層：借用節點的所有直接下游節點的集合Downstream(j)，鏈式法則：aj

 

 

帶入求得梯度

 

 

備注：

激活函數： sigmoid函數是一個非線性函數，導數有趣，可用自身表示。

 

 

 

 

 參考：網絡博客