深度神經網絡的優化算法

目前，深度神經網絡的參數學習主要是通過梯度下降法來尋找一組可以最小化結構風險的參數。在具體實現中，梯度下降法可以分為：批量梯度下降、隨機梯度下降以及小批量梯度下降三種形式。根據不同的數據量和參數量，可 ...