动量是指在原来的梯度下降基础上，将现在的梯度方向与历史梯度方向融合，根据超参数调节权值，让梯度更缓和并且有可能跳出局部极小值
代码实现：
学习率的动态改变：
Dropout 丢弃一些参数，简化模型，减轻过拟合：
因为训练时才需要dropout，所以要区分train还是test（val也属于test）
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。
动量是指在原来的梯度下降基础上，将现在的梯度方向与历史梯度方向融合，根据超参数调节权值，让梯度更缓和并且有可能跳出局部极小值
代码实现：
学习率的动态改变：
Dropout 丢弃一些参数，简化模型，减轻过拟合：
因为训练时才需要dropout，所以要区分train还是test（val也属于test）
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。