1. 前言 今天我们聊一聊机器学习和深度学习里面都至关重要的一个环节，优化损失函数。我们知道一个模型只有损失函数收敛到了一定的值，才有可能会有好的结果，降低损失方式的工作就是优化方法需要做的事。下面 ...

特点：具有超线性收敛速度，只需要计算梯度，避免计算二阶导数 算法步骤 \(step0:\) 给定初始值\(x_0\),容许误差\(\epsilon\) \(step1:\) 计算梯度\(g_k= ...

牛顿法 一: 最速下降法 下降法的迭代格式为xk+1=xk–αkdk">xk+1=xk–αkdk , 其中dk">dk为下降方向, 设gk= ...