SVM – 回归


  SVM的算法是很versatile的,在回归领域SVM同样十分出色的。而且和SVC类似,SVR的原理也是基于支持向量(来绘制辅助线),只不过在分类领域,支持向量是最靠近超平面的点,在回归领域,支持向量是那些距离拟合曲线(回归的目标函数/模型是拟合曲线)。

  上图我们看到还有一个变量,是ϵϵ决定了街道的宽度,它是拟合曲线和支持向量的距离。在svr的实现原理上,定义的损失函数是:

  |yiwϕ(xi)b|≤ϵ,则损失为0,因为落在了街道里面;

  |yiwϕ(xi)b|>ϵ,则损失函数值为|yiwϕ(xi)b| - ϵ(即outlier到支持线的距离)

  所以从损失函数的定义来看,其实还hinge loss要么是0,要么是距离值,只不过class的距离是到y值为1的点,而regression则是到y值为ϵ的点。

  svr也是支持松弛变量,其原理和svm是一样的,只不过svc的符合松弛变量的点是在街道里面,到了svr,松弛变量对应的点是在街道的外面,通过松弛变量的指定来增加泛华。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM