4-1[求探讨] 角度1： 角度2： 即：接近 0 的输入在 sigmoid 型函数上的导数较大，梯度下降速度较快 4-2 异或问题： 异或（XOR）问题可以看做是单位正方形的四个角，响应的输入模式为（0,0），（0,1），（1,1），（1,0）。第一个和第三个模式属于类0 图示 ...

参考https://github.com/chenyuntc/pytorch-book/tree/v1.0 希望大家直接到上面的网址去查看代码，下面是本人的笔记 本章介绍的nn模块是构建与autograd之上的神经网络模块 除了nn外还会介绍神经网络中常用的工具，比如优化器optim ...

卷积神经网络(CNN)是一种具有局部连接、权重共享等特性的深层前馈神经网络。 卷积神经网络最早主要是用来处理图像信息。在用全连接前馈网络来处理图像时，会存在以下两个问题： （1）参数太多：随着隐藏层神经元数量的增多，参数的规模也会急剧增加。这会导致整个神经网络的训练效率非常低，也很容易出现 ...

1.卷积操作实质： 输入图像（input volume），在深度方向上由很多slice组成，对于其中一个slice，可以对应很多神经元，神经元的weight表现为卷积核的形式，即一个方形的滤波器（filter）（如3X3），这些神经元各自分别对应图像中的某一个局部区域（local ...

文章导读： 1. 梯度消失问题 2. 是什么导致了梯度消失问题？ 3. 复杂神经网络中的梯度不稳定问题 之前的章节，我们利用一个仅包含一层隐藏层的简单神经网络就在MNIST识别问题上获得了98%左右的准确率。我们于是本能会想到用更多的隐藏层，构建更复杂的神经网络将会为我们带来更好 ...

这个人总结的太好了 ， 忍不住想学习一下，放到这里。 为了尊重原创作者，说明一下是转载于：http://blog.csdn.net/MyArrow/article/details/51322433 学习总结 1. 简介 神经网络和深度学习是由Michael Nielsen所写 ...

本章的主题是神经网络的学习。这里所说的“学习”是指从训练数据中自动获取最优权重参数的过程。本章中，为了使神经网络能进行学习，将导入损失函数这一指标。而学习的目的就是以该损失函数为基准，找出能使它的值达到最小的权重参数。为了找出尽可能小的损失函数的值，本章我们将介绍利用了函数斜率的梯度法 ...

深度学习引言 AI是最新的电力 大约在一百年前，我们社会的电气化改变了每个主要行业，从交通运输行业到制造业、医疗保健、通讯等方面，我认为如今我们见到了AI明显的令人惊讶的能量，带来了同样巨大的转变。 什么是神经网络？ 神经网络的一部分神奇之处在于，当你实现它之后，你要做的只是输入x，就能 ...