SVM:從數學上分析為什么優化cost function會產生大距離(margin)分類器

向量內積

u^Tv = v^Tu為兩個二維向量的內積，它等於p*||u||(其中p為向量v在向量u上的投影長度，是有+/-之分的，||u||為向量u的長度也稱為范數)，它是一個實數（是一個標量）。

如上圖所示，當u與v之間的夾角小於90度時，p為正的；當u與v之間的夾角大於90度時，p為負的。

SVM的目標優化函數(cost function)與約束條件

這兒將問題進行簡化，令θ₀=0(截距為0),n=2來分析下

SVM的目標優化函數（cost function）可以寫成上圖中的1/2倍的θ的范數(長度)的平方（θ₀=0）

如上張PPT可知θ^Tx⁽ⁱ⁾等同於p⁽ⁱ⁾*||θ||=θ₁x₁⁽ⁱ⁾+θ₂x₂⁽ⁱ⁾

SVM：最大間距即最大投影，投影最大，則由約束條件得||θ||最小

 

 

從上圖可以看出，當我們選擇左邊那個分類邊界的時候，因為θ向量是與分類邊界垂直的，P⁽ⁱ⁾為x⁽ⁱ⁾到θ向量的投影,所以可以看出P⁽ⁱ⁾是很小的，要滿足約束條件(p⁽ⁱ⁾*||θ||>=1),則||θ||會很大，則不是cost function的最小值，故SVM在最小化cost function的時候，不會選擇這個分類邊界。

當我們選擇右邊的這個分類邊界的時候，可以看到P⁽ⁱ⁾相對較大，則||θ||會較小，故SVM在最小化cost function的時候，會選擇這個分類邊界。可以看到margin為x(i)到θ的投影，投影最大，即最大間距（margin）的由來。

上面是一種簡化，θ₀=0，當θ₀≠0,同樣可以得出為什么是最大margin分類器的原因(當然都是在C很大的情況下)

總結

在C很大的情況下，要使SVM的cost function最小，即使θ的范數（長度）最小，包含兩個約束條件（在這兩個約束條件下，以C為系數的那個term才為0,見之前的blog）

在約束條件的限制下，要使θ的范數（長度）最小，即使x(i)到θ的投影最大，投影即為margin,所以就會產生large margin分類器