最优化问题综述 1 优化问题分类 优化问题一般可分为两大类：无约束优化问题和约束优化问题，约束优化问题又可分为含等式约束优化问题和含不等式约束优化问题。 无约束 ...

对于约束优化问题： 拉格朗日公式： 其KKT条件为： 求解 x、α、β 其中β*g(x)为互补松弛条件 KKT条件是使一组解成为最优解的必要条件，当原问题是凸问题的时候，KKT条件也是充分条件。 ...

整数规划基本介绍： 其实就是在普通线性规划上加了整数这一概念，要求所给的最优解为整数； 在实际生活中应用居多，对于最优解为较小的整数时的规划问题多有针对； 关于标准线性规划下的整数规划问题： 对于部分整数规划问题，是可以用求解标准线性规划的思想进行求解，比如单纯形法 ...

第四章：最速下降算法。最速下降法、拟牛顿法等都是求解准则函数（即无约束优化问题）的算法，这就需要有一个 ...

精确一维搜索 试探法 精确一维搜索就是通过迭代取减少搜索区间 对于搜索区间[a, b] 在这个区间中找连个互不相同的试探点p1 p2获取f(p1), f(p2), 设p1 < p2 若 ...

最近加了一个QQ群，接触了点新的东西，包括稀疏近似，低秩近似和压缩感知等。Robust PCA中既包含了低秩，又包含了稀疏，于是以其为切入点，做了如下笔记。笔记中有的公式有比较详细的推导，希望对读者有 ...

　　最优化问题是普遍存在的，以前上运筹学课的时候也接触过最优化相关的问题，当时主要是理论课，并且关注的重点是单纯形法、运输问题以及图论等，这里指的最优化是指函数的最优化，即函数的极值，由于寻找一个局部最优比寻找全局最优要简单得多，所以这里的最优解也是指的局部最优解。 牛顿最优化方法 ...

一、线性回归 一般的，线性回归模型表示为 \[h_{\theta}(x)=\theta_0+\theta_1x_1+...+\theta_nx_n=\sum_{i=0}^{n}\theta_ ...