SVM的算法是很versatile的,在回歸領域SVM同樣十分出色的。而且和SVC類似,SVR的原理也是基於支持向量(來繪制輔助線),只不過在分類領域,支持向量是最靠近超平面的點,在回歸領域,支持向量是那些距離擬合曲線(回歸的目標函數/模型是擬合曲線)。
上圖我們看到還有一個變量,是ϵ,ϵ決定了街道的寬度,它是擬合曲線和支持向量的距離。在svr的實現原理上,定義的損失函數是:
|yi−w∙ϕ(xi)−b|≤ϵ,則損失為0,因為落在了街道里面;
|yi−w∙ϕ(xi)−b|>ϵ,則損失函數值為|yi−w∙ϕ(xi)−b| - ϵ(即outlier到支持線的距離)
所以從損失函數的定義來看,其實還hinge loss要么是0,要么是距離值,只不過class的距離是到y值為1的點,而regression則是到y值為ϵ的點。
svr也是支持松弛變量,其原理和svm是一樣的,只不過svc的符合松弛變量的點是在街道里面,到了svr,松弛變量對應的點是在街道的外面,通過松弛變量的指定來增加泛華。