[DeeplearningAI笔记]第二章1.4-1.8正则化与Dropout 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 1.4 正则化(regularization) 如果你的神经网络出现了过拟合(训练集与验证集得到的结果方差较大),最先想到的方法 ...

[DeeplearningAI笔记]第二章2.6-2.9Momentum/RMSprop/Adam与学习率衰减 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 2.6 动量梯度下降法(Momentum) 另一种成本函数优化算法,优化速度一般快于标准的梯度 ...

[DeeplearningAI笔记]第二章3.8-3.9分类与softmax 觉得有用的话,欢迎一起讨论相互学习~ 3.8 Softmax regression Softmax回归.能让你在试图识别某一分类时作出预测,或者说是多种分类的一个,不只是识别两个分类. 以识别图片 ...

[DeeplearningAI笔记]第二章2.3-2.5带修正偏差的指数加权平均 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 2.3 指数加权平均 举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average ...

[DeeplearningAI笔记]第二章3.4-3.7-Batch NormalizationBN算法 觉得有用的话,欢迎一起讨论相互学习~ 3.4正则化网络的激活函数 Batch归一化会使你的参数搜索问题变得很容易,使神经网络对超参数的选择更加稳定.超参数的范围会更庞大,工作 ...

[DeeplearningAI笔记]第二章1.1-1.3偏差/方差/欠拟合/过拟合/训练集/验证集/测试集 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 1.1 训练/开发/测试集 对于一个数据集而言,可以将一个数据集分为三个部分,一部分作为训练集 ...

： 第二步是，归一化方差，上图中，特征x1的方差比特征x2的方差要大的多，处理如下： ...

论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Internal Covariate Shift 深度神经网络涉及到很多层 ...