for i in range(10):
lr1=lr
scheduler.step()
lr2=scheduler.get_last_lr()
print(lr1,lr2)
lr是最開始的學習率。
輸出:
0.0001 [0.0001]
0.0001 [0.0001]
0.0001 [1e-05]
0.0001 [1e-05]
0.0001 [1e-05]
0.0001 [1.0000000000000002e-06]
我設置的是3次一變學習率,step相當於計數