训练神经网络时，我们会有一个训练集，一个测试集，人在这件事上几乎是不会出错的 当训练集精度为99%，而测试集精度为90%时 这时就是出现了过拟合，我们称他为方差较高 当训练集精度为85%，测试集精度也为85%时 这就是拟合的不好，我们称他为高偏差 为了之后表达方便我称 ...

什么为梯度检验？？？ 　　梯度检验可以作为检验神经网络是否有bug的一种方法，现神经网络的反向传播算法含有许多细节，在编程实现中很容易出现一些微妙的bug，但往往这些bug并不会影响你的程序运行，而且你的损失函数看样子也在不断变小。但最终，你的程序得出的结果误差将会比那些无bug的程序高出一个 ...

TensorFlow Tutorial Initialize variables Start your own session Train algorithms Implement ...

  看到有不少人挺推崇：An overview of gradient descent optimization algorithms；特此放到最上面，大家有机会可以阅读一下；   本文内容主要来源于Coursera吴恩达《优化深度神经网络》课程，另外一些不同优化算法之间的比较也会出 ...

首先我们理解一下，什么叫做正则化？ 　　目的角度：防止过拟合 　　简单来说，正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时，最终目的是让模型在面对新数据的时候，可以有很好的表现。当你用比较复杂的模型比如神经网络，去拟合数据时，很容易出现过拟合现象(训练集 ...

一、深度学习与深层神经网络 深层神经网络是实现“多层非线性变换”的一种方法。 深层神经网络有两个非常重要的特性：深层和非线性。 1.1线性模型的局限性 线性模型：y =wx+b 线性模型的最大特点就是任意线性模型的组合仍然还是线性模型。 如果只通过线性变换，任意层的全连接神经网络 ...

概述 本文demo非常适合入门AI与深度学习的同学，从最基础的知识讲起，只要有一点点的高等数学、统计学、矩阵的相关知识，相信大家完全可以看明白。程序的编写不借助任何第三方的深度学习库，从最底层写起。 第一，本文介绍了什么是神经网络，神经网络的特点，神经网络中的BP算法 ...

一 批标准化 (batch normalization) Batch Normalization是Google2015年在论文：http://jmlr.org/proceedings/papers/v37/ioffe15.pdf中提出来的 训练深层的神经网络很复杂，因为训练时每一层输入 ...