目录 　　基础概念 　　自定义一个网络为例 　　初始化模型参数 　　计算卷积核上的梯度 　　梯度更新 　　PyTorch实战 　　参考资料 在很多机器学习的资料中，对梯度反向传播在全连接神经网络的应用介绍的比较多；但是较少有介绍过卷积网络的梯度是如何反向传播的，这也是知乎公司 ...

本文目的： 以自己的理解，大致介绍神经网络，并梳理神经网络的正向和反向传播公式。 神经网络简介 神经网络是机器学习的分支之一，因为大量数据的出现和可供使用以及神经网络因深度和广度的增加对于大量数据的可扩展性，目前神经网络逐渐变成了除常规机器学习方法外的另一个主流。人们所认识的神经网络一般 ...

　　深度神经网络（Deep Neural Networks，简称DNN）是深度学习的基础。 　　回顾监督学习的一般性问题。假设我们有$m$个训练样本$\{(x_1, y_1), (x_2, y_2), …, (x_m, y_m)\}$，其中$x$为输入向量，$y$为输出向量，利用这个训练样本 ...

在讲解误差反向传播算法之前，我们来回顾一下信号在神经网络中的流动过程。请细细体会，当输入向量\(X\)输入感知器时，第一次初始化权重向量\(W\)是随机组成的，也可以理解成我们任意设置了初始值，并和输入做点积运算，然后模型通过权重更新公式来计算新的权重值，更新后的权重值又接着和输入相互作用 ...

BP算法： 　　1.是一种有监督学习算法，常被用来训练多层感知机。 　 2.要求每个人工神经元（即节点）所使用的激励函数必须可微。 　　（激励函数：单个神经元的输入与输出之间的函数关系叫做激励函数。） 　　（假如不使用激励函数，神经网络中的每层都只是做简单的线性变换，多层输入叠加后 ...

1. 神经元模型 在神经网络中，最基本的单元为神经元。在生物的角度上来看，神经元互相连接，在神经元处于“兴奋“状态时，会向其相连的神经元传递化学物质。其中处于”兴奋“的条件为：神经元的电位达到某个阈值。 类似的，在神经网络模型中，一个基本的神经 ...

这篇文章主要整理三部分内容，一是常见的三种神经网络结构：前馈神经网络、反馈神经网络和图网络；二是整理前馈神经网络中正向传播、误差反向传播和梯度下降的原理；三是梯度消失和梯度爆炸问题的原因及解决思路。 一、神经网络结构 目前比较常用的神经网络结构有如下三种： 1、前馈神经网络 前馈神经网络中 ...

神经网络 神经网络可以理解为一个输入x到输出y的映射函数，即f(x)=y，其中这个映射f就是我们所要训练的网络参数w，我们只要训练出来了参数w，那么对于任何输入x，我们就能得到一个与之对应的输出y。只要f不同，那么同一个x就会产生不同的y，我们当然是想要获得最符合真实数据的y，那么我们就要训练 ...