拉格朗日乘子法與KKT條件 && SVM中為什么要用對偶問題

參考鏈接：

拉格朗日乘子法和KKT條件

SVM為什么要從原始問題變為對偶問題來求解

為什么要用對偶問題

寫在SVM之前——凸優化與對偶問題

1. 拉格朗日乘子法與KKT條件

 

 

 

 

2. SVM 為什么要從原始問題變為對偶問題來求解

1. 首先是我們有不等式約束方程，這就需要我們寫成min max的形式來得到最優解。而這種寫成這種形式對x不能求導，所以我們需要轉換成max min的形式，這時候，x就在里面了，這樣就能對x求導了。而為了滿足這種對偶變換成立，就需要滿足KKT條件（KKT條件是原問題與對偶問題等價的必要條件，當原問題是凸優化問題時，變為充要條件）。

2. . 對偶問題將原始問題中的約束轉為了對偶問題中的等式約束
3. 方便核函數的引入
4. 改變了問題的復雜度。由求特征向量w轉化為求比例系數a，在原始問題下，求解的復雜度與樣本的維度有關，即w的維度。在對偶問題下，只與樣本數量有關。