Armijo-Goldstein准则与Wolfe-Powell准则是不精确的一维搜索的两大准则。 之所以要遵循这些准则是为了能使算法收敛（求最优解）。即要使我们的不精确的一维搜索的步长满足一定的规则 ...

Gradient Descent 机器学习中很多模型的参数估计都要用到优化算法，梯度下降是其中最简单也用得最多的优化算法之一。梯度下降(Gradient Descent)[3]也被称之为最快梯度(S ...