相信每一個剛剛入門神經網絡（現在叫深度學習）的同學都一定在反向傳播的梯度推導那里被折磨了半天。在各種機器學習的課上明明聽得非常明白，神經網絡無非就是正向算一遍Loss，反向算一下每個參數的梯度，然后大家按照梯度更新就好了。問題是梯度到底怎么求呢？課上往往舉的是標量的例子，可是一到你做作業 ...

系列博客，原文在筆者所維護的github上：https://aka.ms/beginnerAI， 點擊star加星不要吝嗇，星越多筆者越努力。 第2章 神經網絡中的三個基本概念 2.0 通俗地理解三大概念 這三大概念是：反向傳播，梯度下降，損失函數。 神經網絡訓練的最基本的思想就是：先“猜 ...

神經網絡 神經網絡可以理解為一個輸入x到輸出y的映射函數，即f(x)=y，其中這個映射f就是我們所要訓練的網絡參數w，我們只要訓練出來了參數w，那么對於任何輸入x，我們就能得到一個與之對應的輸出y。只要f不同，那么同一個x就會產生不同的y，我們當然是想要獲得最符合真實數據的y，那么我們就要訓練 ...

在FNN（DNN）的前向傳播，反向梯度推導以及代碼驗證中，我們不僅總結了FNN（DNN）這種神經網絡結構的前向傳播和反向梯度求導公式，還通過tensorflow的自動求微分工具驗證了其准確性。在本篇章，我們將專門針對CNN這種網絡結構進行前向傳播介紹和反向梯度推導。更多相關內容請見《神經網絡的梯度 ...

在本篇章，我們將專門針對vanilla RNN，也就是所謂的原始RNN這種網絡結構進行前向傳播介紹和反向梯度推導。更多相關內容請見《神經網絡的梯度推導與代碼驗證》系列介紹。 注意： 本系列的關注點主要在反向梯度推導以及代碼上的驗證，涉及到的前向傳播相對而言不會做太詳細的介紹 ...

前言 在本篇章，我們將專門針對LSTM這種網絡結構進行前向傳播介紹和反向梯度推導。 關於LSTM的梯度推導，這一塊確實挺不好掌握，原因有： 一些經典的deep learning 教程，例如花書缺乏相關的內容 一些經典的論文不太好看懂，例如On the difficulty ...

在《神經網絡的梯度推導與代碼驗證》之數學基礎篇：矩陣微分與求導中，我們總結了一些用於推導神經網絡反向梯度求導的重要的數學技巧。此外，通過一個簡單的demo，我們初步了解了使用矩陣求導來批量求神經網絡參數的做法。在本篇章，我們將專門針對DNN/FNN這種網絡結構進行前向傳播介紹和反向梯度推導。更多 ...

推導反向傳播 編程實現前向傳播、反向傳播 卷積神經網絡的反向傳播 快速矩陣、向量求導 ...