拉格朗日對偶
對偶是最優化方法里的一種方法，它將一個最優化問題轉換成另外一個問題，二者是等價的。拉格朗日對偶是其中的典型例子。對於如下帶等式約束和不等式約束的優化問題：
與拉格朗日乘數法類似，構造廣義拉格朗日函數：
必須滿足 
的約束。
原問題為：
即先固定住x，調整拉格朗日乘子變量，讓函數L取極大值；然后控制變量x，讓目標函數取極小值。原問題與我們要優化的原始問題是等價的。
對偶問題為：
和原問題相反，這里是先控制變量x，讓函數L取極小值；然后控制拉格朗日乘子變量，讓函數取極大值。
一般情況下，原問題的最優解大於等於對偶問題的最優解，這稱為弱對偶。在某些情況下，原問題的最優解和對偶問題的最優解相等，這稱為強對偶。
強對偶成立的一種條件是Slater條件：一個凸優化問題如果存在一個候選x使得所有不等式約束都是嚴格滿足的，即對於所有的i都有gi (x)<0，不等式不取等號，則強對偶成立，原問題與對偶問題等價。注意，Slater條件是強對偶成立的充分條件而非必要條件。
拉格朗日對偶在機器學習中的典型應用是支持向量機。