？凸优化在数学优化中有着重要且特殊的身份。数学优化是一个广泛的话题，理解凸优化之前，请先理解线性优化。在机器学习算法中，已知的比如LogisticRegression,SVM,都与数学优化有关，在数学中，不存在无约束优化问题。比较常见的构建损失函数方法，从最简单的两个向量的二阶范数的平方(KNN ...

在优化问题中，寻找最优解过程中两个基本的难点：一是局部最优不一定是全局最优，而通过各类算法找到的最优值往往是局部最优值；其次便是约束条件的复杂性导致求解算法的复杂性大幅度增加。凸优化问题的优势在于其局部最优解就是全局最优解，技巧与难点体现在描述问题的环节，一旦问题被建模为凸优化问题，求解过程 ...

凸优化 作者：樱花猪 摘要: 本文为七月算法（julyedu.com）12月机器学习第四次课在线笔记。“凸优化”指的是一种比较特殊的优化，通过“凸优化”我们能够把目标函数转化成一个“凸函数”然后利用凸函数的性质求极值来求解问题。“凸优化”不仅仅在机器学习中有所应用，几乎在 ...

概念 1)凸优化：是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。 2)两个不等式： 两个正数的算数平均值大于几何平均值，即： 给定可逆矩阵Q，对于任意的向量x，y有： 3)凸集：集合C中任意两个不同点的线段仍在集合C内，则称集合S ...

1. 概述 \(\quad\)那么开始第二期，介绍凸锥和常见的集合，这期比较短(因为公式打得太累了)，介绍凸集和凸锥与仿射集的意义在哪呢，为的就是将很多非凸集合转化为凸集的手段，其中，又以凸包（包裹集合所有点的最小凸集）为最常用的手段，在细节一点，闭凸包（闭合的凸包）是更常用的手段。 2. 凸 ...

CMU凸优化笔记--凸集和凸函数 结束了一段时间的学习任务，于是打算做个总结。主要内容都是基于CMU的Ryan Tibshirani开设的Convex Optimization课程做的笔记。这里只摘了部分内容做了笔记，很感谢Ryan Tibshirani在官网中所作的课程内容开源。也很感谢韩龙飞 ...

【学习笔记】wqs二分/DP凸优化 ## 从一个经典问题谈起: 有一个长度为 \(n\) 的序列 \(a\)，要求找出恰好 \(k\) 个不相交的连续子序列，使得这 \(k\) 个序列的和最大 \(1 \leq k \leq n \leq 10^5, -10^9 \leq a_i ...

典型的凸优化问题 什么样的问题是一个凸优化问题呢？ \[\begin{aligned} & min \quad f_0(x) \\ & s.t. \quad f_i(x) \leq 0 \qquad i=1,...,m \\ & \qquad \ a_i^Tx ...