第四章：最速下降算法。最速下降法、拟牛顿法等都是求解准则函数（即无约束优化问题）的算法，这就需要有一个 ...

使用阻尼牛顿法求解： 利用Amijio非精确线搜索 初始点x0=[0,0]'，经条件1e-6或n=2000 代码： %建立NTtest.m文件 clear all clc x0=[0,0]'; fun=@(x)100*(x(1)^2-x(2))^2+(x ...

罚函数法: 　　求解约束条件下的最优化问题 　　罚函数法的思路就是改变函数f(x),将f(x) 变为F(x) 　　使得F(x)在无约束条件下取得的最优解，正好符合我们的约束条件，且正好为f(x)在约束条件下的最优解 先有最优化问题f(x), 可行区域是c(x) < ...

（FR）共轭梯度法是介于最速下降法和牛顿法之间的一个方法，相比最速下降法收敛速度快，并且不需要像牛顿法一样计算Hesse矩阵，只需计算一阶导数 共轭梯度法是共轭方向法的一种，意思是搜索方向都互相共轭 共轭的定义如下： 共轭梯度法是一种典型的共轭方向法，它的搜索方向是负 ...

前言 直线方向向量 直线的方向向量有两个，其单位向量自然也有两个；与向量\(\vec{a}\)共线的单位向量为两个，\(\pm\cfrac{\vec{a}}{|\vec{a}|}\)； 直线的斜截式为\(y=kx+b\)，则其一个方向向量可以是\(\overrightarrow{s ...

交替方向乘子法（ADMM） 详细请看：交替方向乘子法（Alternating Direction Method of Multipliers） - 凯鲁嘎吉 - 博客园 参考1 参考2 经典的ADMM算法适用于求解如下2-block的凸 ...

动量法的结论： 1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。 2.加速学习 3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。 4.通过速度v，来积累了之间梯度指数级 ...

计算步骤如下： 下面使用书中的练习y=exp(a*x^2+b*x+c)+w这个模型验证一下，其中w为噪声，a、b、c为待解算系数。 代码如下： 迭代结果，其中散点为带噪声数据， ...