神经网络的前向传播和反向传播公式详细推导 本篇博客是对Michael Nielsen所著的《Neural Network and Deep Learning》第2章内容的解读，有兴趣的朋友可以直接阅读原文Neural Network and Deep Learning。 　　对神经网络有些了解 ...

神经网络 神经网络可以理解为一个输入x到输出y的映射函数，即f(x)=y，其中这个映射f就是我们所要训练的网络参数w，我们只要训练出来了参数w，那么对于任何输入x，我们就能得到一个与之对应的输出y。只要f不同，那么同一个x就会产生不同的y，我们当然是想要获得最符合真实数据的y，那么我们就要训练 ...

１　神经网络 神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络： 我们使用圆圈来表示神经网络的输入，标上“”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右 ...

在本篇章，我们将专门针对vanilla RNN，也就是所谓的原始RNN这种网络结构进行前向传播介绍和反向梯度推导。更多相关内容请见《神经网络的梯度推导与代码验证》系列介绍。 注意： 本系列的关注点主要在反向梯度推导以及代码上的验证，涉及到的前向传播相对而言不会做太详细的介绍 ...

前言 在本篇章，我们将专门针对LSTM这种网络结构进行前向传播介绍和反向梯度推导。 关于LSTM的梯度推导，这一块确实挺不好掌握，原因有： 一些经典的deep learning 教程，例如花书缺乏相关的内容 一些经典的论文不太好看懂，例如On the difficulty ...

在《神经网络的梯度推导与代码验证》之数学基础篇：矩阵微分与求导中，我们总结了一些用于推导神经网络反向梯度求导的重要的数学技巧。此外，通过一个简单的demo，我们初步了解了使用矩阵求导来批量求神经网络参数的做法。在本篇章，我们将专门针对DNN/FNN这种网络结构进行前向传播介绍和反向梯度推导。更多 ...

在FNN（DNN）的前向传播，反向梯度推导以及代码验证中，我们不仅总结了FNN（DNN）这种神经网络结构的前向传播和反向梯度求导公式，还通过tensorflow的自动求微分工具验证了其准确性。在本篇章，我们将专门针对CNN这种网络结构进行前向传播介绍和反向梯度推导。更多相关内容请见《神经网络的梯度 ...

在《神经网络的梯度推导与代码验证》之FNN（DNN）的前向传播和反向梯度推导中，我们学习了FNN（DNN）的前向传播和反向梯度求导，但知识仍停留在纸面。本篇章将基于深度学习框架tensorflow验证我们所得结论的准确性，以便将抽象的数学符号和实际数据结合起来，将知识固化。更多相关内容请见 ...