最优化理论与方法（袁亚湘 孙文瑜）笔记（一）
一、概述 在1947年，Dantzig提出求解一般线性规划问题的单纯形法之后。现在，解线性规划、非线性规划以及随机规划、非光滑规划、多目标规划、几何规划、整数规划等各种最优化问题的理论的研究发展迅速。 最优化问题的一般形式为： X属于Rn ...
原文：最优化理论与方法学习笔记
最优化理论与方法学习笔记 一 引论 范数 Frobenius范数： 加权Frobenius范数和加权l 范数 其中M是n x n的对称正定矩阵 ： 椭圆向量范数： 特别，我们有 关于范数的几个重要不等式是： 无约束问题的最优性条件 最优化方法的结构 二 一维搜索 引论 所谓一维搜索，又称线性搜索，就是指单变量函数的最优化，它是多变量函数最优化的基础。 一维搜索的主要结构如下：首先确定包含问题最优解 ...
2019-09-15 23:23 0 425 推荐指数：
相关推荐
最优化理论——机器学习基础
目录 前言 常见概念 目标函数（objective function） 收敛（convergence） 局部最小值（local mininu ...
最优化学习笔记
注：该文是上了开智学堂数据科学基础班的课后做的笔记，主讲人是肖凯老师。 最优化 为什么要做最优化呢？因为在生活中，人们总是希望幸福值或其它达到一个极值，比如做生意时希望成本最小，收入最大，所以在很多商业情境中，都会遇到求极值的情况。 函数求根 这里「函数的根」也称「方程的根」，或「函数 ...
自动控制理论根轨迹方法学习笔记
note 2020-07-26搬运 下面的内容来自我的csdn博客 目录 根轨迹法（又称艾文斯方法）Root Locus Techniques 绘制根轨迹的基本法则 参数根轨迹和根轨迹簇 延迟系统根轨迹的绘制 系统性能的分析和估算 根轨迹法 ...
机器学习（一） ---- 最优化理论基础
之前学习机器学习和数据挖掘的时候，很多都是知道这些算法的设计机制，对数学推导和求解过程依然是一知半解，最近看了一些机器学习算法的求解和各种优化算法，也发现了这些算法设计和公式推导背后的数学精妙之处和随处可见的最优化的影子。还是决定从最优化理论开始补起，本文主要内容如下： ...
最优化理论基础
最优化的背景 古希腊的欧几里得时期就存在最优化的思想，当时提出了一个很著名的问题：在周长相同的一切矩形中，以正方形的面积为最大。接下来几个世纪，微积分的建立使得最优化理论可以用来解决无约束的极值问题，随后为了解决有约束条件的最优化问题，发展了变分法。上世纪40年代，由于军事上的需要产生了运筹学 ...
【复习笔记】最优化方法 - 1. 引论
第一章 引论 本文是本人研究生课程《最优化方法》的复习笔记，主要是总结课件和相关博客的主要内容用作复习。 1.1 概述 1.2 预备知识 正定，半正定 本部分引自：https://zhuanlan.zhihu.com/p/44860862 正定和半正定这两个词的英文分别 ...
【复习笔记】最优化方法 - 4. 约束优化方法
第四章 约束优化方法 本文是本人研究生课程《最优化方法》的复习笔记，主要是总结课件和相关博客的主要内容用作复习。 参考： 【1】https://blog.csdn.net/u012430664/article/details/78745729 【2】https ...