優化問題的基本形式
最大值問題可轉化為最小值問題
優化問題的域
可行域：所有可行點的集合
最優化值：
最優化解：
凸優化問題的基本形式
其中，約束函數f(x)是凸函數，h(x)為仿射函數
仿射函數：即最高次數為1的多項式函數。常數項為零的仿射函數稱為線性函數。
凸優化問題的重要性質：
1.凸優化問題的可行域為凸集
2.凸優化問題的局部最優解即為全局最優解
對偶問題
一般優化問題的拉格朗日乘子法
拉格朗日函數
對固定的x，拉格朗日函數是關於
和
的仿射函數，當x為定值時，f(x)為定值，h(x)為定值，函數關於 
線性，關於
線性，即為若干條直線。
拉格朗日對偶函數
若問題沒有明確的下確界，則g(lamta,V) 為負無窮
根據定義，顯然有：對於任意的lamda，任意的x，若優化問題有最優值p，則g(lamta,V) <=p
進一步，拉格朗日對偶函數為凹函數
分析
公式純手打QAQ！
對偶
強對偶條件
若要對偶函數的最大值等於原問題的最小值，則需滿足：
KKT條件
實踐案例
可以參見SVM的求解過程！