在訓練人臉屬性網絡時，發現在優化器里增加weight_decay=1e-4反而使准確率下降
pytorch論壇里說是因為pytorch對BN層的系數也進行了weight_decay，導致BN層的系數趨近於0，使得BN的結果毫無意義甚至錯誤
當然也有辦法不對BN層進行weight_decay，
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。
猜您在找
[PyTorch 學習筆記] 6.1 weight decay 和 dropout
基於pytorch框架對神經網絡權重初始化(inite_weight)方法詳解
Pytorch出現RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor)
Adam和學習率衰減（learning rate decay）
android中的weight
深度學習 weight initialization
漢明重量（Hamming Weight）
如何調整ceph weight權重值
android:layout_weight屬性詳解
EOS account 中的 Threshold 和 weight 使用