本文原創如需轉載請注明出處
閱讀目錄
一.什么是函數間隔？
二.什么是幾何間隔？
三.函數間隔與幾何間隔的關系？
四.硬間隔最大化
五.學習的對偶算法
一.函數間隔
在圖A，B，C三點，A離超平面是最遠的，所以A被分類錯誤的可能性是最小的，相反C離超平面的距離是最近的，所以C被分類錯誤的可能性是最大的，這很好理解。那么我們就可以用“一個點距離超平面的遠近”來表示分類預測的確信程度
因此我們只需要尋找一個超平面
離所有邊緣點都最遠。
a.我們用
的絕對值表示點x與超平面的距離
b.對於樣本點x來說，y是它的標簽（分類結果+1或者-1）
c.代表預測出來的分類結果
d.y與的乘積來代表分類的正確性及剛才提到的確信程度。這就是函數間隔。
說明：
a:以二維空間為例，直線方程為AX+BY+C=0改為+c=0。
用法向量w代替(A,B)，用特征向量x代表（x,y）,
公式就是這么來的。
b：對於我們學習到的直線。把負實例點（0，0）代入，我們可以看出，算出的結果+1與它的標簽-1不一致，因此線性可分支持向量機學習到的分離超平面
c：進而函數間隔y（
1.定義函數間隔：
對於給定的訓練數據集T和超平面（w,b）定義超平面（w,b）關於樣本點（xi, yi）的函數間隔為：
定義超平面（w,b）關於訓練數據集T的函數間隔為超平面（w,b）關於T中所有樣本點（xi, yi）的函數間隔最小值
2.函數間隔的缺點：
||表示點x與超平面的距離是不准確的，因為只要成比例的改變w，b。比如改為2w，2b。超平面並沒有改變，但是函數間隔卻變為原來的2倍。
說明：
比如
，結果為2。代入原來的方程結果為1。但是，實際上直線的位置並沒有發生改變.
因此，可以對分離超平面的法向量w加以約束，如規范化，讓||w||=1，這時候函數間隔確定。這使得函數間隔成為幾何間隔。
二.幾何間隔
對於給定的訓練數據集T和超平面(w，b),定義超平面(w，b)關於樣本點
的幾何間隔為
定義超平面(w，b)關於訓練數據集T的幾何間隔為超平面(w，b)關於T中所有樣本點的幾何間隔之最小值，即
超平面(w，b）關於樣本點的幾何間隔一般是實例點到超平面的帶符號的距離（signed distance),當樣本點被超平面正確分類時就是實例點到超平面的距離。
三.函數間隔與幾何間隔的關系
從函數間隔和幾何間隔的定義可知，函數間隔和幾何間隔有下面的關系：
如果||w||=1，那么函數間隔和幾何間隔相等。如果超平面參數w和b成比例地改變（超平面沒有改變)，函數間隔也按此比例改變，而幾何間隔不變。
四.硬間隔最大化
如何確定線性可分超平面？
從直觀上而言，超平面應該是最適合分開兩類數據的。而判定“最適合”的標准就是這個超平面兩邊的數據的間隔最大。所以，尋找有着最大間隔的超平面。
1.間隔邊緣：
注意到兩個虛線是平行的，而兩個虛線間的距離Gap就稱為間隔（margin）為2/||w||，兩個虛線稱為間隔邊界。
2.最大間隔分離超平面：
目標函數：
（幾何間隔）
約束條件：
說明：約束條件表示每個樣本點到超平面的距離至少是
考慮幾何間隔與函數間隔的關系可以改寫上式為
目標函數：
（函數間隔除以||w||）
約束條件：
函數間隔的取值並不影響最優化問題的解，因為成比例的改變w和b目標函數和約束條件都不受到影響，所以我們可以讓函數間隔為1.
目標函數就變為1/||w||,由於讓1/||w||最大化，等價於讓分母||w||最小化，為今后求導方便，把1/||w||的最大化等價為
的極小化。
於是得到線性可分支持向量機學習的優化問題：
五.學習的對偶算法
拉格朗日對偶性：在約束優化問題，常常會采用拉格朗日對偶性來將原始問題轉化為對偶問題，通過求解對偶問題而得到原始問題的解。這樣，可以使計算簡便，並且引入核函數，進而推廣到非線性分類問題。
為了求解線性可分支持向量機的最優化問題，就是將它作為原始問題利用拉格朗日對偶性，求得最優解。這就是線性可分支持向量機的對偶算法。
說明：
1.原始問題
假設
是定義在
上的連續可微函數（因為要對它們求導），考慮約束最優化問題：
目標函數：
約束條件：
稱為約束最優化問題的原始問題。
如果沒有約束條件我們可以通過求導計算出最優解，這時就想辦法去掉約束條件，很自然的想到拉格朗日函數（因為朗格朗日函數就是做這個的）：
引進廣義拉格朗日函數（generalizedLagrange function）:
（在這里需要提一下如果約束條件是等式的話，就利用標准的朗格朗日函數）。
這里
，其中
是拉格朗日乘子
特別要求
在這里的原始問題：
那么如何求解對偶問題呢？
步驟一：
首先構造拉格朗日函數，為此對優化問題的每一個約束條件
引進拉格朗日乘子：
，i=1，2，…N
我們將約束條件改寫為：
此時代入廣義拉格朗日函數得：
步驟二：
根據拉格朗日對偶性，原始問題的對偶問題是先對上式w,b求極小值，就是分別對它們求導。
再將它們代入圈1中，此時可以推導出更簡單的形式，從該形式可以引入核計法。
說明：其中第一步是原始問題，第二步是累加和展開，第三步代入公式圈2和圈3，第四步合並系數，第五步代入公式圈1，第六步展開。
步驟三：
對參數alpha做最大化操作，將對偶問題中存在的特別要求
的約束條件和圈3中的約束條件最為最大化的約束條件，我們得到經過對偶化后的簡化問題如下，
其中目標函數中的尖括號是做內積。
步驟四：
將上式的目標函數（圈4）由求極大值轉換成求極小值，就得到與之等價的對偶最優化問題。
步驟五：
通過對偶問題解出來的，求得原始問題的w,b
定理：設
對偶最優化問題的解，則存在下標j,使得
,並可按下式求解原始最優化問題的解
現在總結一下求解過程：
