前向传播 通过输入样本x及参数\(w^{[1]}\)、\(b^{[1]}\)到隐藏层，求得\(z^{[1]}\)，进而求得\(a^{[1]}\); 再将参数\(w^{[2]}\)、\(b^{[2]}\)和\(a^{[1]}\)一起输入输出层求得\(z^{[2]}\)，进而求得 ...

在深度学习中，前向传播与反向传播是很重要的概念，因此我们需要对前向传播与反向传播有更加深刻的理解，假设这里有一个三层的神经网络 在这里，上面一排表示的是前向传播，后面一排表示的是反向传播，在前向传播的情况每一层将通过一层激活函数去线性化，并且在前向传播的过程中会缓存z[l],最终输出y ...

一、前向传播 在caffe中，卷积层做卷积的过程被转化成了由卷积核的参数组成的权重矩阵weights(简记为W)和feature map中的元素组成的输入矩阵(简记为Cin)的矩阵乘积W * Cin。在进行乘积之前，需要对卷积核的参数和feature map作处理，以得到W和Cin。 下面 ...

前向传播和反向传播（ Forward and backward propagation） 前向传播 假设输入${a^{[l - 1]}}$，输出${a^{[l]}}$，缓存${z^{[l]}}$,从实现的角度来说缓存${w^{[l]}}$，${b^{[l]}}$更容易在不同的环节调用函数 ...

1. softmax函数定义 softmax函数为神经网络定义了一种新的输出层：它把每个神经元的输入占当前层所有神经元输入之和的比值，当作该神经元的输出。假设人工神经网络第$L$层的第$j$个节点的带权输入为 在该层应用softmax函数作为激活函数，则第$j$个节点的激活值 ...

前面在mnist中使用了三个非线性层来增加模型复杂度，并通过最小化损失函数来更新参数，下面实用最底层的方式即张量进行前向传播（暂不采用层的概念）。 主要注意点如下： 　　· 进行梯度运算时，tensorflow只对tf.Variable类型的变量进行记录，而不对tf.Tensor或者其他类型 ...

神经网络 神经网络可以理解为一个输入x到输出y的映射函数，即f(x)=y，其中这个映射f就是我们所要训练的网络参数w，我们只要训练出来了参数w，那么对于任何输入x，我们就能得到一个与之对应的输出y。只要f不同，那么同一个x就会产生不同的y，我们当然是想要获得最符合真实数据的y，那么我们就要训练 ...

1. 深度学习有哪些应用 图像：图像识别、物体识别、图片美化、图片修复、目标检测。 自然语言处理：机器创作、个性化推荐、文本分类、翻译、自动纠错、情感分析。 数值预测、量化交易 ...