文章导读： 1. 梯度消失问题 2. 是什么导致了梯度消失问题？ 3. 复杂神经网络中的梯度不稳定问题 之前的章节，我们利用一个仅包含一层隐藏层的简单神经网络就在MNIST识别问题上获得了98%左右的准确率。我们于是本能会想到用更多的隐藏层，构建更复杂的神经网络将会为我们带来更好 ...

本文总结自《Neural Networks and Deep Learning》第5章的内容。 问题引入 随着隐藏层数目的增加，分类准确率反而下降了。为什么？ 消失的梯度问题（The vanishing gradient problem） 先看一组试验数据，当神经网络在训练过程中 ...

靠近输入的神经元会比靠近输出的神经元的梯度成指数级衰减 靠近输出层的hidden layer 梯度大，参数更新快，所以很快就会收敛； 而靠近输入层的hidden layer 梯度小，参数更新慢，几乎就和初始状态一样，随机分布。 这种现象就是梯度弥散（vanishing gradient ...

这个人总结的太好了 ， 忍不住想学习一下，放到这里。 为了尊重原创作者，说明一下是转载于：http://blog.csdn.net/MyArrow/article/details/51322433 学习总结 1. 简介 神经网络和深度学习是由Michael Nielsen所写 ...

本文总结自《Neural Networks and Deep Learning》第1章的部分内容。 使用梯度下降算法进行学习（Learning with gradient descent） 1. 目标 我们希望有一个算法，能让我们找到权重和偏置，以至于网络的输出y(x) 能够拟合所有 ...

深度学习引言 AI是最新的电力 大约在一百年前，我们社会的电气化改变了每个主要行业，从交通运输行业到制造业、医疗保健、通讯等方面，我认为如今我们见到了AI明显的令人惊讶的能量，带来了同样巨大的转变。 什么是神经网络？ 神经网络的一部分神奇之处在于，当你实现它之后，你要做的只是输入x，就能 ...

出处： Michael Nielsen的《Neural Network and Deep Learning》，点击末尾“阅读原文”即可查看英文原文。 本节译者：哈工大SCIR本科生 赵怀鹏 (htt ...

一、前述 本文讲述池化层和经典神经网络中的架构模型。 二、池化Pooling 1、目标 降采样subsample，shrink（浓缩），减少计算负荷，减少内存使用，参数数量减少（也可防止过拟合）减少输入图片大小（降低了图片的质量）也使得神经网络可以经受一点图片平移，不受位置的影响（池化后 ...