首先,SVM和LR(Logistic Regression)都是分類算法。SVM通常有4個核函數,其中一個是線性核,當使用線性核時,SVM就是Linear SVM,其實就是一個線性分類器,而LR也是一個線性分類器,這是兩者的共同之處。
不同之處在於,第一,LR只要求計算出一個決策面,把樣本點分為兩類就行了,不要求分得有多好;而Linear SVM要求決策面距離兩個類的點的距離要最大。
第二,Linear SVM只考慮邊界線附近的點,而LR要考慮整個樣本所有的點,如果增加一些樣本點,只要這些樣本點不在Linear SVM的邊界線附近(即在支持向量外),Linear SVM的決策面是不會變的,而LR的決策面是會發生變化的,即LR中每個樣本點都會對決策面產生影響。
第三,由於指導思想的不同,兩者的Loss function是不同的。