【原創】牛頓法和擬牛頓法 -- BFGS, L-BFGS, OWL-QN

數據、特征和數值優化算法是機器學習的核心，而牛頓法及其改良（擬牛頓法）是機器最常用的一類數字優化算法，今天就從牛頓法開始，介紹幾個擬牛頓法算法。本博文只介紹算法的思想，具體的數學推導過程不做介紹。 ...

牛頓法與擬牛頓法，DFP法，BFGS法，L-BFGS法

牛頓法 考慮如下無約束極小化問題： $$\min_{x} f(x)$$ 其中$x\in R^N$,並且假設$f(x)$為凸函數，二階可微。當前點記為$x_k$,最優點記為$x^*$。 梯度下降 ...

L-BFGS算法詳解（邏輯回歸的默認優化算法）

python信用評分卡建模（附代碼，博主錄制） https://study.163.com/course/introduction.htm?courseId=1005214003&ut ...