本文讲解的是无约束优化中几个常见的基于梯度的方法，主要有梯度下降与牛顿方法、BFGS 与 L-BFGS 算法。 梯度下降法是基于目标函数梯度的，算法的收敛速度是线性的，并且当问题是病态时或者问题规模较大时，收敛速度尤其慢（几乎不适用）； 牛顿法是基于目标函数的二阶导数（Hesse 矩阵 ...

一、牛顿法 对于优化函数\(f(x)\)，在\(x_0\)处泰勒展开， \[f(x)=f(x_0)+f^{'}(x_0)(x-x_0)+o(\Delta x) \] 去其线性部分，忽略高阶无穷小，令\(f(x) = 0\)得： \[x=x_0-\frac{f(x_0)}{f ...

牛顿法 ...

牛顿法 考虑如下无约束极小化问题： $$\min_{x} f(x)$$ 其中$x\in R^N$,并且假设$f(x)$为凸函数，二阶可微。当前点记为$x_k$,最优点记为$x^*$。 梯度下降法用的是一阶偏导，牛顿法用二阶偏导。以标量为例，在当前点进行泰勒二阶展开： $$\varphi ...

一、BFGS算法 在“优化算法——拟牛顿法之BFGS算法”中，我们得到了BFGS算法的校正公式： 利用Sherman-Morrison公式可对上式进行变换，得到 令，则得到： 二、BGFS算法存在的问题 在BFGS算法中。每次都要 ...

特点 相较于： 最优化算法3【拟牛顿法1】 BFGS算法使用秩二矩阵校正hesse矩阵的近似矩阵\(B\),即： \[B_{k+1}=B_k+\alpha\mu_k\mu_k^T+\beta\nu_k\nu_k^T \] 算法分析 将函数在\(x_{k+1}\)处二阶展开 ...

一.简介 通过前面几节的介绍，大家可以直观的感受到：对于大部分机器学习模型，我们通常会将其转化为一个优化问题，由于模型通常较为复杂，难以直接计算其解析解，我们会采用迭代式的优化手段，用数学语言描述如下： \[\min_{v^k} f(x^k+v^k) \] 这里目标函数为\(f(x ...

1、二分法（一阶导） 二分法是利用目标函数的一阶导数来连续压缩区间的方法，因此这里除了要求 f 在 [a0,b0] 为单峰函数外，还要去 f(x) 连续可微。 （1）确定初始区间的中点 x(0)=(a0+b0)/2 。然后计算 f(x) 在 x(0) 处的一阶导数 f'(x ...