本文总结自《Neural Networks and Deep Learning》第5章的内容。 问题引入 随着隐藏层数目的增加，分类准确率反而下降了。为什么？ 消失的梯度问题（The vanishing gradient problem） 先看一组试验数据，当神经网络在训练过程中 ...

5-1 5-2 5-3 主要作用： 降维和升维： 每个1×1的卷积核都试图提取基于相同像素位置的特征的融合表达。可以实现特征升维和降维的目的。 比如，一张500 * 500且厚度 ...

1.卷积操作实质： 输入图像（input volume），在深度方向上由很多slice组成，对于其中一个slice，可以对应很多神经元，神经元的weight表现为卷积核的形式，即一个方形的滤波器（filter）（如3X3），这些神经元各自分别对应图像中的某一个局部区域（local ...

这个人总结的太好了 ， 忍不住想学习一下，放到这里。 为了尊重原创作者，说明一下是转载于：http://blog.csdn.net/MyArrow/article/details/51322433 学习总结 1. 简介 神经网络和深度学习是由Michael Nielsen所写 ...

卷积神经网络(CNN)是一种具有局部连接、权重共享等特性的深层前馈神经网络。 卷积神经网络最早主要是用来处理图像信息。在用全连接前馈网络来处理图像时，会存在以下两个问题： （1）参数太多：随着隐藏层神经元数量的增多，参数的规模也会急剧增加。这会导致整个神经网络的训练效率非常低，也很容易出现 ...

深度学习引言 AI是最新的电力 大约在一百年前，我们社会的电气化改变了每个主要行业，从交通运输行业到制造业、医疗保健、通讯等方面，我认为如今我们见到了AI明显的令人惊讶的能量，带来了同样巨大的转变。 什么是神经网络？ 神经网络的一部分神奇之处在于，当你实现它之后，你要做的只是输入x，就能 ...

一、前述 在梯度下降中，随着算法反向反馈到前面几层，梯度会越来越小，最终，没有变化，这时或许还没有收敛到比较好的解，这就是梯度消失问题，深度学习遭受不稳定的梯度，不同层学习在不同的速度上 二、解决梯度弥散和消失方法一，初始化权重使用he_initialization 1、举例 ...

前面一章我们详细讲解了神经网络的组成，工作原理，信号在网络中如何流动，以及如何求解每一个输入信号赋予的权重等计算过程；同时我们还构建了一个逻辑回归网模型来解决鸢尾花分类问题，很明显，这种网络很“浅”，但它对于分类鸢尾花数据还是非常有效的，而且不仅仅是鸢尾花，对于有需要的其他二分类问题，该模型 ...