一、weight decay（权值衰减）的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度，其最终目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。
猜您在找
weight_decay in Pytorch
weight_decay(权重衰减)
调参过程中的参数 学习率，权重衰减，冲量(learning_rate , weight_decay , momentum)
caffe 中base_lr、weight_decay、lr_mult、decay_mult代表什么意思？
深度学习中，使用regularization正则化(weight_decay)的好处，loss=nan
caffe 中base_lr、weight_decay、lr_mult、decay_mult代表什么意思？
PyTorch 中 weight decay 的设置
pytorch中LSTM各参数理解
针对jquery的ajax中的参数理解
GBDT参数理解