第三章 无约束优化方法 本文是本人研究生课程《最优化方法》的复习笔记，主要是总结课件和相关博客的主要内容用作复习。 3.1 算法理论基础 1. 无约束优化问题的最优性条件 先是一元函数取得极值的条件，高中就学过的 然后是拓展到多元函数后的理论 这三条和前面一元函数的三条 ...

第一章 引论 本文是本人研究生课程《最优化方法》的复习笔记，主要是总结课件和相关博客的主要内容用作复习。 1.1 概述 1.2 预备知识 正定，半正定 本部分引自：https://zhuanlan.zhihu.com/p/44860862 正定和半正定这两个词的英文分别 ...

第二章 线性规划 本文是本人研究生课程《最优化方法》的复习笔记，主要是总结课件和相关博客的主要内容用作复习。 2.1 线性规划的标准型 线性规划问题的解： 2.2 线性规划的基本概念 1. （LP）是一个凸规划 2. 基矩阵 3. 由“基矩阵”发展而来的其他概念 ...

梯度的方向与等值面垂直，并且指向函数值提升的方向。 二次收敛是指一个算法用于具有正定二次型函数时，在有限步可达到它的极小点。二次收敛与二阶收敛没有尽然联系，更不是一回事，二次收敛往往具有超线性以上的 ...

11/22/2017 12:40:56 PM 优化问题在很多领域有着重要的应用。为了日后查阅方便，本文列举常见的无约束优化方法的计算公式。 需要说明的是，本文的大部分内容选自图书《算法笔记》。 一、梯度下降法 梯度下降法（Gradient Descent Method）也叫做最速下降法 ...

1 等式约束优化问题 等式约束问题如下： 求解方法包括：消元法、拉格朗日乘子法。 1、消元法 通过等式约束条件消去一个变量，得到其他变量关于该变量的表达式代入目标函数，转化为无约束的极值 ...

最优化理论与方法学习笔记 一、引论 1、范数 Frobenius范数： 加权Frobenius范数和加权l2范数（其中M是n x n的对称正定矩阵）： 椭圆向量范数： 特别，我们有 关于范数的几个重要不等式 ...

回顾 前边内容主要总结了无约束优化问题的求解步骤，即如何找一个函数的极大值，其中凸函数具备的良好性质保证局部最优解是全局最优解。一般通过最速下降法、牛顿法、共轭梯度法进行求解（针对这些方法的不足也有很多改进）。接下来主要总结在定义域有约束时，函数的优化问题。 约束优化问题 数学模型 优化 ...