學習率余弦退火衰減策略

參考鏈接：https://blog.csdn.net/weixin_35848967/article/details/108493217

出發點：

因為我們的目標優化函數可能是多峰的（如下圖所示），除了全局最優解之外還有多個局部最優解，在訓練時梯度下降算法可能陷入局部最小值，此時可以通過突然提高學習率，來“跳出”局部最小值並找到通向全局最小值的路徑。這種方式稱為帶重啟的隨機梯度下降方法。如下圖所示：