[DeeplearningAI笔记]第二章1.9归一化normalization 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 1.9 归一化Normaliation 训练神经网络,其中一个加速训练的方法就是归一化输入(normalize inputs ...

dropout 正则化（ Dropout Regularization） 除了L2正则化，还有一个非常实用的正则化方法——Dropout（ 随机失活）： 假设你在训练上图这样的神经网络，它存在过拟合，这就是 dropout 所要处理的，我们复制这个神经网络， dropout 会遍历网络 ...

　　除了L2正则化，还有一个非常实用的正则化方法----dropout（随机失活），下面介绍其工作原理。 假设你在训练下图左边的这样的神经网络，它存在过拟合情况，这就是dropout所要处理的。我们复制这个神经网络，dropout会遍历网络每一层，并设置一个消除神经网络中节点的概率 ...

[DeeplearningAI笔记]第二章2.6-2.9Momentum/RMSprop/Adam与学习率衰减 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 2.6 动量梯度下降法(Momentum) 另一种成本函数优化算法,优化速度一般快于标准的梯度 ...

[DeeplearningAI笔记]第二章3.8-3.9分类与softmax 觉得有用的话,欢迎一起讨论相互学习~ 3.8 Softmax regression Softmax回归.能让你在试图识别某一分类时作出预测,或者说是多种分类的一个,不只是识别两个分类. 以识别图片 ...

[DeeplearningAI笔记]第二章2.3-2.5带修正偏差的指数加权平均 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 2.3 指数加权平均 举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average ...

[DeeplearningAI笔记]第二章3.4-3.7-Batch NormalizationBN算法 觉得有用的话,欢迎一起讨论相互学习~ 3.4正则化网络的激活函数 Batch归一化会使你的参数搜索问题变得很容易,使神经网络对超参数的选择更加稳定.超参数的范围会更庞大,工作 ...

1.dropout dropout是一种常用的手段，用来防止过拟合的，dropout的意思是在训练过程中每次都随机选择一部分节点不要去学习，减少神经元的数量来降低模型的复杂度，同时增加模型的泛化能力。虽然会使得学习速度降低，因而需要合理的设置保留的节点数量。 在TensorFlow中 ...