引言：尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识，非科班出身，如有数学专业博友，望多提意见！ 1.原始问题 假设是定义在上的连续可微函数（为什么要求连续可 ...

KKT（Karush-Kuhn-Tucker）条件有时也称KT条件，最初发现此定理的是Kuhn，Tucker两人，后来发现Karush在1939年的一篇文章中已经有过这个定理表述，所以常以取三人名字命 ...

不等约束 　　上篇文章介绍了如何在等式约束下使用拉格朗日乘子法，然而真实的世界哪有那么多等式约束？我们碰到的大多数问题都是不等约束。对于不等约束的优化问题，可以这样描述： 　　其中f(x)是目 ...

结构风险最小化原则 经验风险：在训练样本上的误判，也就是损失函数了。 结构风险：由2部分组成，经验风险和VC置信范围VC Confidence。VC置信范围又跟训练样本数量和VC维有关，样本越多V ...

拉格朗日对偶问题的理解 拉格朗日乘数法 拉格朗日乘数法本身就是帮助我们求函数的最值。在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多 ...

典型相关分析 （一）引入 典型相关分析（Canonical Correlation Analysis）是研究两组变量之间相关关系的一种多元统计方法。他能够揭示出两组变量之间的内在联系。 ...

Jordan Lecture Note-3：梯度投影法 在这一节，我们介绍如何用梯度投影法来解如下的优化问题： \begin{align} \mathop{\min}&\qu ...