在前面我們講到了DNN，以及DNN的特例CNN的模型和前向反向傳播算法，這些算法都是前向反饋的，模型的輸出和模型本身沒有關聯關系。今天我們就討論另一類輸出和模型間有反饋的神經網絡：循環神經網絡(Recurrent Neural Networks ，以下簡稱RNN)，它廣泛的用於自然語言處理 ...

前向傳播 通過輸入樣本x及參數\(w^{[1]}\)、\(b^{[1]}\)到隱藏層，求得\(z^{[1]}\)，進而求得\(a^{[1]}\); 再將參數\(w^{[2]}\)、\(b^{[2]}\)和\(a^{[1]}\)一起輸入輸出層求得\(z^{[2]}\)，進而求得 ...

雖然學深度學習有一段時間了，但是對於一些算法的具體實現還是模糊不清，用了很久也不是很了解。因此特意先對深度學習中的相關基礎概念做一下總結。先看看前向傳播算法(Forward propagation)與反向傳播算法(Back propagation)。 1.前向傳播 ...

前向傳播和反向傳播（ Forward and backward propagation） 前向傳播 假設輸入${a^{[l - 1]}}$，輸出${a^{[l]}}$，緩存${z^{[l]}}$,從實現的角度來說緩存${w^{[l]}}$，${b^{[l]}}$更容易在不同的環節調用函數 ...

反向傳播算法是深度學習的最重要的基礎，這篇博客不會詳細介紹這個算法的原理和細節。，如果想學習反向傳播算法的原理和細節請移步到這本不錯的資料。這里主要討論反向傳播算法中的一個小細節：反向傳播算法為什么要“反向”？ 背景 在機器學習中,很多算法最后都會轉化為求一個目標損失函數（loss ...

神經網絡最基本的知識可以參考神經網絡基本知識，基本的東西說的很好了，然后這里講一下神經網絡中的參數的求解方法。 注意前一次的各單元不需要與后一層的偏置節點連線，因為偏置節點不需要有輸入也不需要sigmoid函數得到激活值，或者認為激活值始終是1. 一些變量解釋： 標上“”的圓圈被稱為 ...

1 BP算法的推導 　　 　　　　　　　　圖1 一個簡單的三層神經網絡 　　圖1所示是一個簡單的三層（兩個隱藏層，一個輸出層）神經網絡結構，假設我們使用這個神經網絡來解決二分類問題，我們給這個網絡一個輸入樣本，通過前向運算得到輸出。輸出值的值域為，例如的值越接近0，代表該樣本是“0”類 ...

前言 在本篇章，我們將專門針對LSTM這種網絡結構進行前向傳播介紹和反向梯度推導。 關於LSTM的梯度推導，這一塊確實挺不好掌握，原因有： 一些經典的deep learning 教程，例如花書缺乏相關的內容 一些經典的論文不太好看懂，例如On the difficulty ...