SVM – 回歸


  SVM的算法是很versatile的,在回歸領域SVM同樣十分出色的。而且和SVC類似,SVR的原理也是基於支持向量(來繪制輔助線),只不過在分類領域,支持向量是最靠近超平面的點,在回歸領域,支持向量是那些距離擬合曲線(回歸的目標函數/模型是擬合曲線)。

  上圖我們看到還有一個變量,是ϵϵ決定了街道的寬度,它是擬合曲線和支持向量的距離。在svr的實現原理上,定義的損失函數是:

  |yiwϕ(xi)b|≤ϵ,則損失為0,因為落在了街道里面;

  |yiwϕ(xi)b|>ϵ,則損失函數值為|yiwϕ(xi)b| - ϵ(即outlier到支持線的距離)

  所以從損失函數的定義來看,其實還hinge loss要么是0,要么是距離值,只不過class的距離是到y值為1的點,而regression則是到y值為ϵ的點。

  svr也是支持松弛變量,其原理和svm是一樣的,只不過svc的符合松弛變量的點是在街道里面,到了svr,松弛變量對應的點是在街道的外面,通過松弛變量的指定來增加泛華。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM