指数加权平均 在深度学习优化算法中，例如Momentum、RMSprop、Adam，都提到了一个概念，指数加权平均，看了Andrew Ng的深度学习课程后，总结一下什么是指数加权平均。 式中v_t可近似代表1/(1-β)个θ的平均 ...

一、指数加权平均算法介绍 引言 　　在了解指数加权平均之前，首先我们需要回顾一下求平均数的相关概念，从而进行进一步理解与引导。 如何求平均数 　　平均数求法数学公式： 　　现在举例说明：比如我们现在有100天的温度值，要求这100天的平均温度值 ...

[DeeplearningAI笔记]第二章1.1-1.3偏差/方差/欠拟合/过拟合/训练集/验证集/测试集 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 1.1 训练/开发/测试集 对于一个数据集而言,可以将一个数据集分为三个部分,一部分作为训练集 ...

[DeeplearningAI笔记]第二章1.9归一化normalization 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 1.9 归一化Normaliation 训练神经网络,其中一个加速训练的方法就是归一化输入(normalize inputs ...

[DeeplearningAI笔记]第二章2.6-2.9Momentum/RMSprop/Adam与学习率衰减 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 2.6 动量梯度下降法(Momentum) 另一种成本函数优化算法,优化速度一般快于标准的梯度 ...

[DeeplearningAI笔记]第二章3.8-3.9分类与softmax 觉得有用的话,欢迎一起讨论相互学习~ 3.8 Softmax regression Softmax回归.能让你在试图识别某一分类时作出预测,或者说是多种分类的一个,不只是识别两个分类. 以识别图片 ...

[DeeplearningAI笔记]第二章1.4-1.8正则化与Dropout 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 1.4 正则化(regularization) 如果你的神经网络出现了过拟合(训练集与验证集得到的结果方差较大),最先想到的方法 ...

[DeeplearningAI笔记]第二章3.4-3.7-Batch NormalizationBN算法 觉得有用的话,欢迎一起讨论相互学习~ 3.4正则化网络的激活函数 Batch归一化会使你的参数搜索问题变得很容易,使神经网络对超参数的选择更加稳定.超参数的范围会更庞大,工作 ...