weight_decay in Pytorch

本文转载自查看原文 2020-05-08 13:56 1269

在训练人脸属性网络时，发现在优化器里增加weight_decay=1e-4反而使准确率下降

pytorch论坛里说是因为pytorch对BN层的系数也进行了weight_decay，导致BN层的系数趋近于0，使得BN的结果毫无意义甚至错误

当然也有办法不对BN层进行weight_decay，

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 [PyTorch 学习笔记] 6.1 weight decay 和 dropout 基于pytorch框架对神经网络权重初始化(inite_weight)方法详解 Pytorch出现RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) Adam和学习率衰减（learning rate decay） android中的weight 深度学习 weight initialization 汉明重量（Hamming Weight）如何调整ceph weight权重值 android:layout_weight属性详解 EOS account 中的 Threshold 和 weight 使用