概述 优化问题就是在给定限制条件下寻找目标函数\(f(\mathbf{x})，\mathbf{x}\in\mathbf{R}^{\mathbf{n}}\)的极值点。极值可以分为整体极值或局部极值，整 ...

我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素 ...

牛顿法和拟牛顿法 牛顿法（Newton method）和拟牛顿法（quasi Newton method）是求解无约束最优化问题的常用方法，收敛速度快。牛顿法是迭代算法，每一步需要求解海赛矩阵的逆矩阵，计算比较复杂。拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵，简化了这一 ...

梯度下降法是沿着梯度下降的算法，该算法的收敛速度受梯度大小影响非常大，当梯度小时算法收敛速度非常慢。 牛顿法是通过把目标函数做二阶泰勒展开，通过求解这个近似方程来得到迭代公式，牛顿法的迭代公式中用到了二阶导数来做指导，所以牛顿法的收敛速度很快，但是由于要求二阶导，所以牛顿法的时间复杂度非常高 ...

什么是共轭方向？ 基本的共轭方向法 共轭梯度法 拟牛顿法 秩 ...

共轭梯度法： About the code: A : the input A of Ax = b b : the input b of Ax = b x0 : the input guess of x x : the output x of Ax = b r ...

　　针对牛顿法中海塞矩阵的计算问题，拟牛顿法主要是使用一个海塞矩阵的近似矩阵来代替原来的还塞矩阵，通过这种方式来减少运算的复杂度。其主要过程是先推导出海塞矩阵需要满足的条件，即拟牛顿条件（也可以称为拟牛顿方程）。然后我们构造一个满足拟牛顿条件的近似矩阵来代替原来的海塞矩阵。 　　另外，在满足拟 ...

拟牛顿法（Python实现） 使用拟牛顿法（BFGS和DFP），分别使用Armijo准则和Wolfe准则来求步长 求解方程 \(f(x_1,x_2)=(x_1^2-2)^4+(x_1-2x_2)^2\)的极小值 运行结果 ...