pytorch learning rate decay

關於learning rate decay的問題，pytorch 0.2以上的版本已經提供了torch.optim.lr_scheduler的一些函數來解決這個問題。

我在迭代的時候使用的是下面的方法。

classtorch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

>>> # Assuming optimizer uses lr = 0.05 for all groups >>> # lr = 0.05 if epoch < 30 >>> # lr = 0.005 if 30 <= epoch < 80 >>> # lr = 0.0005 if epoch >= 80 >>> scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1) >>> for epoch in range(100): >>> scheduler.step() >>> train(...) >>> validate(...)
使用的時候check一下pytorch的版本，如果提示沒有lr_scheduler don't find 嘗試用from torch.optim import lr_scheduler 導入
具體的訓練代碼見 https://www.cnblogs.com/z1141000271/p/9394738.html