sklearn svm基本使用

SVM基本使用　　

　　SVM在解決分類問題具有良好的效果，出名的軟件包有libsvm(支持多種核函數),liblinear。此外python機器學習庫scikit-learn也有svm相關算法，sklearn.svm.SVC和

sklearn.svm.LinearSVC 分別由libsvm和liblinear發展而來。

　　推薦使用SVM的步驟為：

1. 將原始數據轉化為SVM算法軟件或包所能識別的數據格式；
2. 將數據標准化；(防止樣本中不同特征數值大小相差較大影響分類器性能)
3. 不知使用什么核函數，考慮使用RBF；
4. 利用交叉驗證網格搜索尋找最優參數(C, γ)；（交叉驗證防止過擬合，網格搜索在指定范圍內尋找最優參數）
5. 使用最優參數來訓練模型；
6. 測試。

下面利用scikit-learn說明上述步驟：

import numpy as np
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV, train_test_split

def load_data(filename)
    '''
    假設這是鳶尾花數據,csv數據格式為：
    0,5.1,3.5,1.4,0.2
    0,5.5,3.6,1.3,0.5
    1,2.5,3.4,1.0,0.5
    1,2.8,3.2,1.1,0.2
    每一行數據第一個數字(0,1...)是標簽,也即數據的類別。
    '''
    data = np.genfromtxt(filename, delimiter=',')
    x = data[:, 1:]  # 數據特征
    y = data[:, 0].astype(int)  # 標簽
    scaler = StandardScaler()
    x_std = scaler.fit_transform(x)  # 標准化
    # 將數據划分為訓練集和測試集，test_size=.3表示30%的測試集
    x_train, x_test, y_train, y_test = train_test_split(x_std, y, test_size=.3)
    return x_train, x_test, y_train, y_test


def svm_c(x_train, x_test, y_train, y_test):
    # rbf核函數，設置數據權重
    svc = SVC(kernel='rbf', class_weight='balanced',)
    c_range = np.logspace(-5, 15, 11, base=2)
    gamma_range = np.logspace(-9, 3, 13, base=2)
    # 網格搜索交叉驗證的參數范圍，cv=3,3折交叉
    param_grid = [{'kernel': ['rbf'], 'C': c_range, 'gamma': gamma_range}]
    grid = GridSearchCV(svc, param_grid, cv=3, n_jobs=-1)
    # 訓練模型
    clf = grid.fit(x_train, y_train)
    # 計算測試集精度
    score = grid.score(x_test, y_test)
    print('精度為%s' % score)

if __name__ == '__main__':
40 　　svm_c(*load_data('example.csv'))

其它內容

網格搜索小技巧

　　網格搜索法中尋找最優參數中為尋找最優參數，網格大小如果設置范圍大且步長密集的話難免耗時，但是不這樣的話又可能找到的參數不是很好，針對這解決方法是，先在大范圍，大步長的粗糙網格內尋找參數。在找到的參數左右在設置精細步長找尋最優參數比如：

1. 一開始尋找范圍是 C = 2⁻⁵ , 2 ⁻³ , . . . , 2 ¹⁵ and γ = 2⁻¹⁵ , 2 ⁻¹³ , . . . , 2 ³ .由此找到的最優參數是(2³ , 2 ⁻⁵ )；
2. 然后設置更小一點的步長，參數范圍變為2¹ , 2 ^1.25 , . . . , 2 ⁵ and γ = 2⁻⁷ , 2 ^−6.75 , . . . , 2⁻³  在這個參數范圍再尋找最優參數。

　　這樣既可以避免一開始就使用大范圍，小步長而導致分類器進行過於多的計算而導致計算時間的增加。

線性核和RBF的選擇

　　如果訓練樣本的特征數量過於巨大，也許就不需要通過RBF等非線性核函數將其映射到更高的維度空間上，利用非線性核函數也並不能提高分類器的性能。利用linear核函數也可以獲得足夠好的結果，此外，也只需尋找一個合適參數C，但是利用RBF核函數取得與線性核函數一樣的效果的話需要尋找兩個合適參數(C, γ)。

　　分三種情況討論：

1. 樣本數量遠小於特征數量：這種情況，利用情況利用linear核效果會高於RBF核。
2. 樣本數量和特征數量一樣大：線性核合適，且速度也更快。liblinear更適合
3. 樣本數量遠大於特征數量： 非線性核RBF等合適。

---

 

本文主要參考這篇A Practical Guide to Support Vector Classification

libsvm：A Library for Support Vector Machines

liblinear : A Library for Large Linear Classification

sklearn : scikit-learn Machine Learning in Python

其它文章：

Python直接運行目錄或者zip文件

通過生物學數據預測年齡-1