一、weight decay（權值衰減）的使用既不是為了提高你所說的收斂精確度也不是為了提高收斂速度，其最終目的是防止過擬合。在損失函數中，weight decay是放在正則項（regularization）前面的一個系數，正則項一般指示模型的復雜度，所以weight decay的作用是調節模型復雜度對損失函數的影響，若weight decay很大，則復雜的模型損失函數的值也就大。
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。
猜您在找
weight_decay in Pytorch
weight_decay(權重衰減)
調參過程中的參數 學習率，權重衰減，沖量(learning_rate , weight_decay , momentum)
caffe 中base_lr、weight_decay、lr_mult、decay_mult代表什么意思？
深度學習中，使用regularization正則化(weight_decay)的好處，loss=nan
caffe 中base_lr、weight_decay、lr_mult、decay_mult代表什么意思？
PyTorch 中 weight decay 的設置
pytorch中LSTM各參數理解
針對jquery的ajax中的參數理解
GBDT參數理解