拉格朗日乘子法最小值轉化為對偶函數最大值問題在SVM部分有很重要的作用，今天詳細聽了鄒博老師凸優化課程關於這部分的講解，做一個小小的總結。
一、知識鋪墊
1. 保凸算子
凸函數的非負加權和 ： 
凸函數與仿射函數的復合： 
凸函數的逐點最大值、逐點上確界：
第一個和第二個直接使用定義還是挺簡單的，因為后邊也要用到，這里給出第三個的證明：
第二個不等式直觀上來看：
得到一個后邊需要用的結論：幾個凸函數逐個取大得到的函數任然是凸函數，幾個凸函數逐個取小得到的函數是凹函數。取幾個凸函數為直線，得到下邊這樣的一個示意圖。
二、凸優化問題的定義
若fi(x)為凸函數，hj(x)為仿射函數，則為一個凸優化問題。
凸優化問題的可行域為凸集，凸優化問題的局部最優解即為全局最優解。
三、凸優化問題的對偶問題
3.1 基本分析
我們可以知道，對偶函數為一個凹函數，一定存在最大值。（之前證明過，幾個凸函數的min為凹函數）
對偶函數的最大值一定小於等於原函數的最小值，那么求原函數的最小值是否就可以轉化為對偶函數的最大值呢？我們使用這樣一個圖來分析：
如圖，下邊的虛線部分表示了一個凸函數f1(x)，假設lambda1 = 0，那么沒有影響，原函數最小值大概為1.35，但是隨着lambda1的初步增大，最小值點會往上移動，對應於我們的原函數上面的虛線。但是lambda1繼續增大的時候，最小值點變了，所以最小值點又開始下降了。最終得到如右邊所示的一個最小值關於lambda1的變化趨勢圖。
由以上分析可知，原問題的最小值可以轉化為對偶問題的最大值問題。（第二項最大值為0，第三項就是0）
3.2鞍點解釋
3.3強對偶條件
