典型相关分析 （一）引入 典型相关分析（Canonical Correlation Analysis）是研究两组变量之间相关关系的一种多元统计方法。他能够揭示出两组变量之间的内在联系。 ...

、局部、全局和严格优化、梯度和Hessian 黑塞矩阵和方向导数、无约束问题的最优条件 优化理论0 ...

先来点预备知识。矩阵的3种运算我们称之为“行初等变换”： 交换任意2行 某一行的元素全部乘以一个非0数 某一行的元素加上另一行对应元素的N倍，N不为0 以矩阵实施行初等变换等同于 ...

共轭梯度法关键是要找正交向量寻找方向，去不断逼近解。 其本质是最小二乘解的思想 最小二乘解 其中A系数矩阵是确定的，Ax是永远都取不到向量 b的，取得到那就是不用最小二乘解 我要求AX和b最小的距离，就是要求b在Ax上的投影，向量b-AX一定是要垂直于AX ...

共轭梯度法（Python实现） 使用共轭梯度法，分别使用Armijo准则和Wolfe准则来求步长 求解方程 \(f(x_1,x_2)=(x_1^2-2)^4+(x_1-2x_2)^2\)的极小值 运行结果 ...

% FR共轭梯度法 function sixge x0=[1,0]'; [x,val,k]=frcg('fun','gfun',x0) end function f=fun(x) f=100*(x(1)^2-x(2))^2+(x(1)-1)^2; end function g ...

（FR）共轭梯度法是介于最速下降法和牛顿法之间的一个方法，相比最速下降法收敛速度快，并且不需要像牛顿法一样计算Hesse矩阵，只需计算一阶导数 共轭梯度法是共轭方向法的一种，意思是搜索方向都互相共轭 共轭的定义如下： 共轭梯度法是一种典型的共轭方向法，它的搜索方向是负 ...

牛顿法 一: 最速下降法 下降法的迭代格式为xk+1=xk–αkdk">xk+1=xk–αkdk , 其中dk">dk为下降方向, 设gk=∇f(xk)≠0">gk=∇f(xk)≠0, 则下降 ...