【零基础】神经网络优化之动量梯度下降

一、序言 　　动量梯度下降也是一种神经网络的优化方法，我们知道在梯度下降的过程中，虽然损失的整体趋势是越来越接近0，但过程往往是非常曲折的，如下图所示： 　　特别是在使用mini-ba ...