【ML-9-4】支持向量機--SVM回歸模型（SVR）

目錄

1. SVM回歸模型的損失函數度量
2. SVM回歸模型的目標函數的原始形式
3. SVM回歸模型的目標函數的對偶形式
4. SVM 算法小結

一、SVM回歸模型的損失函數度量

SVM和決策樹一樣，可以將模型直接應用到回歸問題中；在SVM的分類模型(SVC)中，目標函數和限制條件如下

在SVR中，目的是為了盡量擬合一個線性模型y=wx+b；從而我們可以定義常量eps>0，對於任意一點(x,y)，如果|y-wx-b|≤eps，那么認為沒有損失，從而我們可以得到目標函數和限制條件如下：

二、SVM回歸模型的目標函數的原始形式

加入松弛因子ξ>0，從而我們的目標函數和限制條件變成：

構造拉格朗日函數：

三、SVM回歸模型的目標函數的對偶形式

拉格朗日函數對偶化：

首先來求優化函數對於w、b、ξ的極小值，通過求導可得：

將w、b、ξ的值帶入函數L中，就可以將L轉換為只包含β的函數，從而我們可以得到最終的優化目標函數為(備注：對於β的求解照樣可以使用SMO算法來求解)：

四、SVM 算法小結

SVM算法是一個很優秀的算法，在集成學習和神經網絡之類的算法沒有表現出優越性能前，SVM基本占據了分類模型的統治地位。目前則是在大數據時代的大樣本背景下,SVM由於其在大樣本時超級大的計算量，熱度有所下降，但是仍然是一個常用的機器學習算法。

SVM算法的主要優點：

1) 解決高維特征的分類問題和回歸問題很有效,在特征維度大於樣本數時依然有很好的效果。

2) 僅僅使用一部分支持向量來做超平面的決策，無需依賴全部數據。

3) 有大量的核函數可以使用，從而可以很靈活的來解決各種非線性的分類回歸問題。

4)樣本量不是海量數據的時候，分類准確率高，泛化能力強。

SVM算法的主要缺點：

1) 如果特征維度遠遠大於樣本數，則SVM表現一般。

2) SVM在樣本量非常大，核函數映射維度非常高時，計算量過大，不太適合使用。

3）非線性問題的核函數的選擇沒有通用標准，難以選擇一個合適的核函數。

4）SVM對缺失數據敏感。