機器學習：SVM（SVM 思想解決回歸問題）

一、SVM 思想在解決回歸問題上的體現

• 回歸問題的本質：找到一條直線或者曲線，最大程度的擬合數據點；
• 怎么定義擬合，是不同回歸算法的關鍵差異；

1. 線性回歸定義擬合方式：讓所有數據點到直線的 MSE 的值最小；
2. SVM 算法定義擬合的方式：在距離 Margin 的區域內，盡量多的包含樣本點；

 

• SVM 的思路解決回歸問題：

1. 在 Margin 區域內的樣本點越多，則 Margin 區域越能夠較好的表達樣本數據點，此時，取 Margin 區域內中間的那條直線作為最終的模型；用該模型預測相應的樣本點的 y 值；
2. 在具體訓練 SVM 算法模型解決回歸問題時，提前指定 Margin 的大小，算法引入的超參數：ε，表示 Margin 區域的兩條直線到區域中間的直線的距離，如圖：

• 

• SVM 解決回歸問題的思路與解決分類問題的思路相反，解決分類問題時，希望 Margin 區域內沒有樣本點或者樣本點盡可能的少；

• LinearSVC、SVC、LinearSVR、SVR ：

1. LinearSVC：使用線性 SVM 的思路解決分類問題；
2. SVC：使用非線性 SVM 的思路解決分類問題；（多項式核、高斯核）
3. LinearSVR：使用線性 SVM 的思路解決回歸問題；
4. SVR：使用非線性 SVM 的思路解決回歸問題；（使用不同的核函數）

 

 

二、scikit-learn 中的 SVM 算法：LinearSVR、SVR 解決回歸問題

• LinearSVR、SVR 的使用方式與 LinearSVC、SVC 一樣

• import numpy as np
  import matplotlib.pyplot as plt
  from sklearn import datasets
  
  boston = datasets.load_boston()
  X = boston.data
  y = boston.target
  
  from sklearn.model_selection import train_test_split
  X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)
  
  from sklearn.svm import LinearSVR
  from sklearn.svm import SVR
  from sklearn.preprocessing import StandardScaler
  from sklearn.pipeline import Pipeline
  
  def StandardLinearSVR(epsilon=0.1):
      return Pipeline([
          ('std_scaler', StandardScaler()),
          ('linearSVR', LinearSVR(epsilon=epsilon))
          # 此處使用超參數 C 的默認值;
          # 如果使用 SVR()，還需要調節參數 kernel；
      ])
  
  svr = StandardLinearSVR()
  svr.fit(X_train, y_train)
  svr.score(X_test, y_test)
  # 准確率：0.6353520110647206