1.1 动量梯度下降法（Gradient descent with Momentum） 优化成本函数J，还有一种算法叫做 Momentum，或者叫做动量梯度下降法，运行速度几乎总是快于标准的梯度下降算法，简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新你的权重。 使用动量梯度 ...

1.mini-batch梯度下降 在前面学习向量化时，知道了可以将训练样本横向堆叠，形成一个输入矩阵和对应的输出矩阵： 当数据量不是太大时，这样做当然会充分利用向量化的优点，一次训练中就可以将所有训练样本涵盖，速度也会较快。但当数据量急剧增大，达到百万甚至更大的数量级时，组成的矩阵将极其庞大 ...

SGD SGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。 对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次更新都利用一个batch的数据，而非整个训练集。即： xt+1 ...

1. SGD Batch Gradient Descent 在每一轮的训练过程中，Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度，并用该梯度对模型参数进行更新： 优点: cost fuction若为凸函数，能够保证收敛到全局 ...

目录 　　Adagrad法 　　RMSprop法 　　Momentum法 　　Adam法 　　参考资料 发展历史 标准梯度下降法的缺陷 如果学习率选的不恰当会出现以上情况 因此有一些自动调学习率的方法。一般来说，随着迭代次数的增加，学习率应该越来越小 ...

我们初学的算法一般都是从SGD入门的，参数更新是： 它的梯度路线 ...

1. 训练误差和泛化误差 机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数，你也许发现了：当模型在训练数据集上更准确时，它在测试数据集上却不⼀定更准确。这是为什么 ...

批梯度下降： 1）采用所有数据来梯度下降，在样本量很大的时，学习速度较慢，因为处理完全部数据，我们仅执行了一次参数的更新。 2）在学习过程中，我们会陷入损失函数的局部最小值，而永远无法达到神经网络获得最佳结果的全局最优值。这是因为我们计算的梯度大致相同 ...