1 無約束形式的soft-SVM
我們知道，soft-SVM的一般形式是：
這里我們把松弛變量ξn寫成下面的形式（這里其實就是松弛變量的定義，如果這個點不違反硬條件，則它的松弛變量為0，否則的話，松弛變量的值就是它到底違反了多少，即yn(w*xn + b)與1的差值）:
這樣寫之后，原問題的約束條件已經被包含進來了。因此原問題變為下面的無約束形式：
2 soft-SVM與邏輯回歸的聯系
我們用另一種方式看待上面的無約束形式：第一項是正則項，第二項是替代01錯誤的一個errhat。我們把01錯誤和這個errhat畫在圖上，可以發現：
這個errhat是01錯誤的上界，所以我們只要做好這個errhat，也就間接做好了01錯誤。
我們再把邏輯回歸的errhat加進來：
黃色的線是邏輯回歸的err。可以發現，它和svm的err是很接近的！
結論：
加L2正則的邏輯回歸，很近似的相當於soft-SVM。
3 用SVM來輸出概率值
由於SVM和邏輯回歸的相似性，因此我們可以用如下兩層學習的方式，先學一個SVM模型，然后把這個模型的打分用最大似然的原則的微調：
得到的混合模型就可以用來輸出概率。
4 核型邏輯回歸KLR
加L2正則的邏輯回歸，可以用核函數來做。下面我們做一番推導。
首先介紹一個定理，Representer Theorem：
即：對於加了L2正則，並且err是wz的函數的問題，最優的w一定是z的線性組合。
證明如下：
因此，對於加L2正則的邏輯回歸來說，就有：
代入最優的w形式，並把z的乘積用核函數表示：
5 另一個視角看KLR
我們的KLR既可以看作是z空間上的一個線性模型，也可以看作是核函數對原始特征變換后產生新特征的一個線性模型。
KLR的形式是：
經核函數變換得到的新特征是：
右邊這一項就是在新特征上的一個線性模型，左邊這一項可以看作一個正則項：
因此KLR既可以看作是w的一個線性模型，也可以看作是β的一個線性模型：
