花费 14 ms
【原创】牛顿法和拟牛顿法 -- BFGS, L-BFGS, OWL-QN

数据、特征和数值优化算法是机器学习的核心,而牛顿法及其改良(拟牛顿法)是机器最常用的一类数字优化算法,今天就从牛顿法开始,介绍几个拟牛顿法算法。本博文只介绍算法的思想,具体的数学推导过程不做介绍。 ...

Fri May 29 01:18:00 CST 2015 1 16534
牛顿法与拟牛顿法,DFP法,BFGS法,L-BFGS法

牛顿法 考虑如下无约束极小化问题: $$\min_{x} f(x)$$ 其中$x\in R^N$,并且假设$f(x)$为凸函数,二阶可微。当前点记为$x_k$,最优点记为$x^*$。 梯度下降 ...

Tue Nov 11 18:20:00 CST 2014 1 6234

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM