機器學習之感知器和線性回歸、邏輯回歸以及SVM的相互對比


線性回歸是回歸模型

感知器、邏輯回歸以及SVM是分類模型

線性回歸:f(x)=wx+b

感知器:f(x)=sign(wx+b)其中sign是個符號函數,若wx+b>=0取+1,若wx+b<0取-1

它的學習策略是最小化誤分類點到超平面的距離,

邏輯回歸:f(x)=sigmoid(wx+b)取值范圍在0-1之間。

感知器和SVM的對比:

它倆都是用於分類的模型,且都以sign符號函數作為分類決策函數。但是感知器只適用於線性可分的數據,而SVM可以通過核函數處理非線性可分的數據。拿感知器和線性可分支持向量機對比,他們的目標都是希望找到一個超平面能把數據分開,同時分類決策函數使用的都是sign符號函數,不同之處在於優化目標不同,感知機是通過最小化誤分類點到超平面的距離來對參數進行優化,從而確定這個超平面,而SVM是通過最大化支持向量距離超平面這個最小距離來對參數進行優化。

Logistic和SVM的區別:

SVM分為線性可分支持向量機,線性支持向量機以及非線性可分支持向量機,它還適用於對非線性可分的數據進行分類。Logistic回歸一般用於處理線性可分的數據。這里進行線性可分支持向量機和Logistic回歸的對比,SVM的目標是希望找到一個超平面能把數據分開,以sign符號函數作為分類決策函數,通過最大化支持向量距離超平面這個最小距離來對參數進行優化。邏輯回歸假設數據服從伯努利分布,以最大化條件概率為學習策略(優化目標),以對數似然函數為損失函數,運用梯度下降法來優化參數,sigmoid函數作為分類決策函數。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM