線性回歸是回歸模型
感知器、邏輯回歸以及SVM是分類模型
線性回歸:f(x)=wx+b
感知器:f(x)=sign(wx+b)其中sign是個符號函數,若wx+b>=0取+1,若wx+b<0取-1
它的學習策略是最小化誤分類點到超平面的距離,

邏輯回歸:f(x)=sigmoid(wx+b)取值范圍在0-1之間。
感知器和SVM的對比:
它倆都是用於分類的模型,且都以sign符號函數作為分類決策函數。但是感知器只適用於線性可分的數據,而SVM可以通過核函數處理非線性可分的數據。拿感知器和線性可分支持向量機對比,他們的目標都是希望找到一個超平面能把數據分開,同時分類決策函數使用的都是sign符號函數,不同之處在於優化目標不同,感知機是通過最小化誤分類點到超平面的距離來對參數進行優化,從而確定這個超平面,而SVM是通過最大化支持向量距離超平面這個最小距離來對參數進行優化。
Logistic和SVM的區別:
SVM分為線性可分支持向量機,線性支持向量機以及非線性可分支持向量機,它還適用於對非線性可分的數據進行分類。Logistic回歸一般用於處理線性可分的數據。這里進行線性可分支持向量機和Logistic回歸的對比,SVM的目標是希望找到一個超平面能把數據分開,以sign符號函數作為分類決策函數,通過最大化支持向量距離超平面這個最小距離來對參數進行優化。邏輯回歸假設數據服從伯努利分布,以最大化條件概率為學習策略(優化目標),以對數似然函數為損失函數,運用梯度下降法來優化參數,以sigmoid函數作為分類決策函數。
