一、SVM的常用目標函數形式
soft margin svm可表示為：
其中，C表示懲罰系數；C越大，表示對margin越嚴格，即對不滿足約束的樣本數要更少；
反之，C越小，表示對margin越寬松，即可接受不滿足約束的樣本數越多。
例如下圖所示：
二、SVM和logistic regression的對比
1、對於SVM目標函數的解讀
SVM的目標函數與帶了L2正則的Model的目標函數很相似，並且具有相同的一些性質。
2、三種常用替代損失函數對比
因此，SVM目標函數中的max(1-ys,0)函數與Logistic regression的目標函數很像；如果給LR加入L2正則化，那么有：
三、Probabilistic SVM的實現思路
1、鑒於SVM和加L2正則的LR model很相似出發：
（1）idea1
將soft margin的SVM進行求解，將得到的w,b參數當作LR model的w',b'的近似解，然后使用sigmoid函數進行概率求解。
優點：直接使用了svm和LR的相似性，實際使用上，較為簡單，通常表現還不錯。
缺點：實際上幾乎喪失了LR model推導中的maximum likelyhood等性質。
（2）idea2
將soft margin的SVM進行求解，將得到的w,b參數當作LR model解的起始點，再進行LR模型的求解。
缺點：效果和單獨使用LR model求解差不多，並且對於kernel svm，則無法使用LR model進行近似。
2、采用融合SVM和LR各自優勢的思路
（1） 做法
將SVM求解出來的結果（即求解出w和b）后計算(wx+b)的值value，然后在value上加上兩個自由度的操作，即放縮操作A，平移操作B；在A和B兩個參數上使用logistic regression進行訓練（實際上是把A和B分別當作LR model里的w和b參數來求解），這樣可以比較吻合在logistic regression中的maximum likelyhood的需求。
優點：保留了svm原有的性質，包括kernel svm的性質；可以使用LR model獲得概率值表示。
幾何解釋：用SVM 找出分類超平面的法向量，然后不改變法向量，但是在法向量之上再加上一些放縮和平移操作，使其更吻合在logistic regression中的maximum likelyhood的需求。
（2） Probabilistic SVM的目標函數：
（3）Probabilistic SVM一般化的求解步驟
