什么是线性规划： 线性规划就是特殊的有约束优化问题，目的是通过一组线性等式或者不等式下得可行集合点，来寻找一个目标函数的极值； 通常来说，极值可以是极大极小，但是一般采用极小，看到相关的案例，求极大值直接前面加负号变为极小值即可； 线性规划的基本问题形式： 线性规划问题可以采用最基本 ...

最优化问题综述 1 优化问题分类 优化问题一般可分为两大类：无约束优化问题和约束优化问题，约束优化问题又可分为含等式约束优化问题和含不等式约束优化问题。 无约束 ...

进入算法研发部，在大致了解部门的项目构成，主要职责之后，我意识到最优化算法在各个项目组中都具有重要的作用，例如CTR预估、排序等。然而，由于自己在读博期间除了“逻辑回归”以外，没有系统参与过涉及最优化的项目，因此在还没有分配到具体任务的情况下，首先自发地对最优化算法的发展历程进行了调研。心得体会 ...

第四章：最速下降算法。最速下降法、拟牛顿法等都是求解准则函数（即无约束优化问题）的算法，这就需要有一个 ...

精确一维搜索 试探法 精确一维搜索就是通过迭代取减少搜索区间 对于搜索区间[a, b] 在这个区间中找连个互不相同的试探点p1 p2获取f(p1), f(p2), 设p1 < p2 若 ...

最近加了一个QQ群，接触了点新的东西，包括稀疏近似，低秩近似和压缩感知等。Robust PCA中既包含了低秩，又包含了稀疏，于是以其为切入点，做了如下笔记。笔记中有的公式有比较详细的推导，希望对读者有 ...

对于约束优化问题： 拉格朗日公式： 其KKT条件为： 求解 x、α、β 其中β*g(x)为互补松弛条件 KKT条件是使一组解成为最优解的必要条件，当原问题是凸问题的时候，KKT条件也是充分条件。 ...

整数规划基本介绍： 其实就是在普通线性规划上加了整数这一概念，要求所给的最优解为整数； 在实际生活中应用居多，对于最优解为较小的整数时的规划问题多有针对； 关于标准线性规划下的整数规划问题： 对于部分整数规划问题，是可以用求解标准线性规划的思想进行求解，比如单纯形法 ...