1. 前言 今天我們聊一聊機器學習和深度學習里面都至關重要的一個環節，優化損失函數。我們知道一個模型只有損失函數收斂到了一定的值，才有可能會有好的結果，降低損失方式的工作就是優化方法需要做的事。下面 ...

1. Mini-batch梯度下降法 介紹 假設我們的數據量非常多，達到了500萬以上，那么此時如果按照傳統的梯度下降算法，那么訓練模型所花費的時間將非常巨大，所以我們對數據做如下處理： 如 ...

目前，深度神經網絡的參數學習主要是通過梯度下降法來尋找一組可以最小化結構風險的參數。在具體實現中，梯度下降法可以分為：批量梯度下降、隨機梯度下降以及小批量梯度下降三種形式。根據不同的數據量和參數量，可 ...

梯度下降 由於梯度下降法中負梯度方向作為變量的變化方向，所以有可能導 致最終求解的值是局部最優解，所以在使用梯度下降的時候，一般需 要進行一些調優策略： 學習率的選擇： 學習率過大，表示每次 ...