SVM：從理論到OpenCV實踐

（轉載請注明出處：http://blog.csdn.net/zhazhiqiang/ 未經允許請勿用於商業用途）

 

一、理論

參考網友的博客：

(1) 【理論】支持向量機1: Maximum Margin Classifier —— 支持向量機簡介

(2) 【理論】支持向量機2: Support Vector —— 介紹支持向量機目標函數的 dual 優化推導，並得出“支持向量”的概念

(3) 【理論】支持向量機3：Kernel —— 介紹核方法，並由此將支持向量機推廣到非線性的情況

(4) 【理論】支持向量機4：Outliers —— 介紹支持向量機使用松弛變量處理 outliers 方法

(5) 【理論】支持向量機5：Numerical Optimization —— 簡要介紹求解求解 SVM 的數值優化算法

(6) 【理論】支持向量機6：Duality —— 關於 dual 問題推導的一些補充理論

(7) 【理論】支持向量機7：Kernel II —— 核方法的一些理論補充

(8) 【理論】支持向量機通俗導論（理解SVM的三層境界）

 

總結：

1、SVM是一個分類器(Classifier) ，也可以做回歸 (Regression) 。

2、 SVM的主要思想可以概括為兩點：

(1)它是針對線性可分情況進行分析，對於線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉化為高維特征空間使其線性可分，從而 使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能；

(2)它基於結構風險最小化理論之上在特征空間中建構最優分割超平面，使得學習器得到全局最優化，並且在整個樣本空間的期望風險以某個概率滿足一定上界。

3、 最優 超平面：使得每一類數據與超平面距離最近的向量與超平面之間的距離最大的這樣的平面。

4、 支持向量：那些在間隔區邊緣的訓練樣本點。

5、 核函數：SVM的關鍵在於核函數。簡單說就是將低維空間線性不可分的樣本轉化為高維空間線性可分的。低維空間向量集通常難於划分，解決的方法是將它們映射到高維空間。但這個辦法帶來的困難就是計算復雜度的增加，而核函數正好巧妙地解決了這個問題。也就是說，只要選用適當的核函數，就可以得到高維空間的分類函數。在SVM理論中，采用不同的核函數將導致不同的SVM算法。在確定了核函數之后，由於確定核函數的已知數據也存在一定的誤差，考慮到推廣性問題，因此引入了 松弛系數以及 懲罰系數兩個參變量來加以校正。在確定了核函數基礎上，再經過大量對比實驗等將這兩個系數取定，該項研究就基本完成，適合相關學科或業務內應用，且有一定能力的推廣性。當然誤差是絕對的，不同學科、不同專業的要求不一。

常用的核函數有以下4種：

⑴ 線性核函數

 

⑵ 多項式核函數

⑶ 徑向基(RBF)核函數(高斯核函數)

 

⑷ Sigmoid核函數(二層神經網絡核函數)

<5-1> 徑向基(RBF)核函數(高斯核函數) 的說明

    這個核函數可以將原始空間映射到無窮維空間。對於參數σ，如果選的很大，高次特征上的權重實際上衰減得非常快，所以實際上（數值上近似一下）相當於一個低維的子空間；反過來，如果選得很小，則可以將任意的數據映射為線性可分——當然，這並不一定是好事，因為隨之而來的可能是非常嚴重的過擬合問題。不過，總的來說，通過調控參數，高斯核實際上具有相當高的靈活性，也是使用最廣泛的核函數之一。

<5-2> 徑向基(RBF)核函數的參數選取

    徑向基（RBF）核函數主要確定懲罰因子C和參數σ。其中C控制着使間隔margin最大且錯誤率最小的折中，就是在確定的特征空間中調節學習機器的置信范圍和經驗風險的比例；而σ²是RBF核函數參數，主要影響樣本數據在高維特征空間中分布的復雜程度。因此分類器的好壞取決於參數C、σ的確定。參數選擇的好壞直接影響到分類器性能的好壞，但這方面目前缺乏理論指導，沒有合適的方法，傳統的參數選取都是通過反復的試驗，人工選取令人滿意的解。這種方法需要人的經驗指導，並且需要付出較高的時間代價。常用的參數選擇方法有：

I、網格法【OpenCV中SVM用到】

    選取U個C和V個σ²，就會有的組合狀態，每種組合狀態對應一種SVM分類器，通過測試對比，找出推廣識別率最高的C和σ²組合。一般取U=V=15，C取值分別為，取值分別為共255個C、σ²組合。網格法實質上是一種窮舉法，隨着排列組合的可能情況越多，其運算量將急劇增加。

II、雙線性法

利用RBF核SVM的性能，首先對線性SVM求解最佳參數，使之為參數的線性SVM推廣識別率最高，稱為；然后固定，對滿足

                                                       

的，訓練SVM，根據對其推廣識別率的估算，得到最優參數。雖然這種方法對σ²有非常明確的公式，但首先要求解C，而很難確定最優的C。

III、梯度下降搜索法

設泛化誤差為

                                                                  

核函數為，是待定的核參數，基本過程為：

a 將θ置一個初始值

b 用一個標准的SVM解法（如SMO），求出SVM的解——Lagrange乘子

c                                                                                                

d 跳轉到b直至T最小

    其中是足夠小且最終收斂到零的數列。步驟c是一個標准的梯度下降算法。由分類函數公式可以求解，的求解較麻煩，需要通過求解一個二次規划問題得到。

IV、遺傳算法

基本步驟為：

       a t=0

       b 隨機選擇初始種群P(t)

       c 計算個體適應度函數值F(t)

       d 若種群中最優個體所對應的適應度函數值足夠大或者算法已經連續運行多代，且個體的最佳適應度無明顯改進則轉到第h步

       e t=t+1

       f 應用選擇算子法從P(t-1)中選擇P(t)

       g 對P(t)進行交叉、變異操作，轉到第c步

       h 給出最佳的核函數參合和懲罰因子C，並用其訓練數據集以獲得全局最優分類面。

       遺傳算法的缺點是收斂很慢，容易受局部極小值干擾。

<5-3>驗證核函數性能的方法(3種)(衡量泛化能力)

I、單一驗證估計

    將大數量的樣本分為兩部分：訓練樣本和測試樣本，此時測試集的錯誤率為：

    

式中，p為樣本數，為樣本實際所屬的類別，為對訓練樣本預測出的類別。這種方法直觀簡單。可以通過理論證明，當樣本數量趨近於無窮大時，該估計為無偏估計，但現實中處理的總是數量有限的樣本問題，所以此方法的應用范圍在一定程度上受到了限制。

II、K折交叉驗證【OpenCV中SVM用到】

    K折交叉驗證是一種迭代方式，一共迭代K次，每次將所有訓練樣本分為K份相等的子集樣本，訓練樣本是選擇其中K-1份樣本，測試樣本是剩余的一個樣本。通過K次迭代后，可以利用平均值來評估期望泛化誤差，根據期望泛化誤差選擇一組性能最佳的參數。K折交叉驗證由K折交叉驗證誤差決定，K折交叉驗證誤差是算法錯誤率的估計，其計算方式為：假設為錯分類的樣本個數，經過K次迭代后，得到，那么算法的錯誤率可以近似為錯誤分類數和總樣本點數之比。該方法具有操作簡單的優點，成為目前應用最廣泛的方法，但是這種方法容易受樣本划分方式的影響。

III、留一法

    留一法是K折交叉驗證的特例，其基本思想是當可用樣本數為N時，訓練集由其中N-1個樣本構成，測試樣本為剩余的一個樣本，經N次重復，使所有的樣本都參加過測試。通過理論證明，這種估計是無偏估計。因此，從實現原理來說，留一法的效果是最佳的；但是，在參數固定的情況下，確定其錯誤率對樣本要訓練N-1次，運算量很大。為了解決留一法計算量大的缺陷，目前該方法確定核函數及其參數的常用方法是估計經驗風險的上界，只要上界小，分類器的推廣能力就強。

 

二、OpenCV中SVM的參數和函數說明

1、訓練參數結構體 CvSVMParams(可參考 【OpenCV2.4】SVM的參數和函數介紹)

(1)注意：該結構必須被初始化后，傳給CvSVM

(2)構造函數的 原型 ：

C++: CvSVMParams::CvSVMParams()

C++: CvSVMParams::CvSVMParams(int svm_type, 

int kernel_type, 

double degree, 

double gamma, 

double coef0, 

double Cvalue, 

double nu,                   

double p, 

CvMat* class_weights,

CvTermCriteria term_crit

　　　　　　　　)

(3)注釋

A. 默認的構造函數初始化有以下值：  

CvSVMParams::CvSVMParams() : svm_type(CvSVM::C_SVC), kernel_type(CvSVM::RBF), degree(0),
    gamma(1), coef0(0), C(1), nu(0), p(0), class_weights(0)
{
    term_crit = cvTermCriteria( CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, FLT_EPSILON );
}

B. 構造函數的參數(一共10個)：

<1> svm_type:指定SVM的類型(5種)：

• CvSVM::C_SVC : C類支持向量分類機。 n類分組  (n≥2)，允許用異常值懲罰因子C進行不完全分類。
• CvSVM::NU_SVC : 類支持向量分類機。n類似然不完全分類的分類器。參數為取代C（其值在區間【0，1】中，nu越大，決策邊界越平滑）。
• CvSVM::ONE_CLASS : 單分類器，所有的訓練數據提取自同一個類里，然后SVM建立了一個分界線以分割該類在特征空間中所占區域和其它類在特征空間中所占區域。
• CvSVM::EPS_SVR : 類支持向量回歸機。訓練集中的特征向量和擬合出來的超平面的距離需要小於p。異常值懲罰因子C被采用。
• CvSVM::NU_SVR : 類支持向量回歸機。 代替了 p。 

<2>kernel_type:SVM的內核類型(4種)：

• CvSVM::LINEAR : 線性內核，沒有任何向映射至高維空間，線性區分（或回歸）在原始特征空間中被完成，這是最快的選擇。

             .

• CvSVM::POLY : 多項式內核：

              .

• CvSVM::RBF : 基於徑向的函數，對於大多數情況都是一個較好的選擇：

              .

• CvSVM::SIGMOID : Sigmoid函數內核：

             .

<3> degree:內核函數（POLY）的參數degree。

<4> gamma:內核函數（POLY/ RBF/ SIGMOID）的參數 。

<5> coef0:內核函數（POLY/ SIGMOID）的參數coef0。

<6> Cvalue:SVM類型（C_SVC/ EPS_SVR/ NU_SVR）的參數C。

<7> nu:SVM類型（NU_SVC/ ONE_CLASS/ NU_SVR）的參數  。

<8> p:SVM類型（EPS_SVR）的參數 。

<9> class_weights:C_SVC中的可選權重，賦給指定的類，乘以C以后變成  。所以這些權重影響不同類別的錯誤分類懲罰項。權重越大，某一類別的誤分類數據的懲罰項就越大。

<10> term_crit:SVM的迭代訓練過程的中止條件，解決部分受約束二次最優問題。您可以指定的公差和/或最大迭代次數。

 

2、支持向量機CvSVM類(8個函數)

(1)構造函數

<1>構造函數的 原型

C++: CvSVM::CvSVM()

C++: CvSVM::CvSVM(const Mat& trainData, 

　　　　　　const Mat& responses, 

const Mat& varIdx=Mat(), 

const Mat& sampleIdx=Mat(), 

CvSVMParams params=CvSVMParams()

)

C++: CvSVM::CvSVM(const CvMat* trainData, 

　　　　　　　　　　　　const CvMat* responses, 

　　　　　　　　　　　　const CvMat* varIdx=0,

　　　　　　　　　　　　const CvMat* sampleIdx=0, 

　　　　　　　　　　　　CvSVMParams params=CvSVMParams()

　　　　　　　　　　　　 )

<2>構造函數的參數注釋(5個)

• trainData: 訓練數據，必須是CV_32FC1 （32位浮點類型，單通道）。數據必須是CV_ROW_SAMPLE的，即特征向量以行來存儲。
• responses: 響應數據，通常是1D向量存儲在CV_32SC1 （僅僅用在分類問題上）或者CV_32FC1格式。
• varIdx: 指定感興趣的特征。可以是整數(32sC1)向量，例如以0為開始的索引，或者8位(8uC1)的使用的特征或者樣本的掩碼。用戶也可以傳入NULL指針，用來表示訓練中使用所有變量／樣本。
• sampleIdx: 指定感興趣的樣本。描述同上。
• params: SVM參數。

(2)訓練函數

<1>作用：訓練一個SVM

<2>訓練函數的 原型

C++: bool CvSVM::train(const Mat& trainData, 

　　　　　　const Mat& responses, 

const Mat& varIdx=Mat(), 

const Mat& sampleIdx=Mat(), 

CvSVMParams params=CvSVMParams()

 )

C++: bool CvSVM::train(const CvMat* trainData, 

　　　　　　const CvMat* responses, 

const CvMat* varIdx=0, 

const CvMat* sampleIdx=0, 

CvSVMParams params=CvSVMParams() 

)

<3>訓練函數的參數注釋(5個)

        和構造函數的參數是一樣的，請參考構造函數的參數注釋。

 

(3) 自動 訓練函數

<1>作用：根據可選參數訓練一個SVM。

<2>自動訓練函數 原型

C++: bool CvSVM::train_auto(const Mat& trainData,

　　　　　　　　const Mat& responses, 

const Mat& varIdx, 

const Mat& sampleIdx, 

CvSVMParams params,

int k_fold=10, 

CvParamGrid Cgrid=CvSVM::get_default_grid(CvSVM::C), 

CvParamGrid gammaGrid=CvSVM::get_default_grid(CvSVM::GAMMA), 

CvParamGrid pGrid=CvSVM::get_default_grid(CvSVM::P), 

CvParamGrid nuGrid=CvSVM::get_default_grid(CvSVM::NU), 

CvParamGrid coeffGrid=CvSVM::get_default_grid(CvSVM::COEF), 

CvParamGrid degreeGrid=CvSVM::get_default_grid(CvSVM::DEGREE), 

bool balanced=false

)

C++: bool CvSVM::train_auto(const CvMat* trainData,

　　　　　　　　const CvMat* responses, 

const CvMat* varIdx, 

const CvMat* sampleIdx, 

CvSVMParams params, 

int kfold=10, 

CvParamGrid Cgrid=get_default_grid(CvSVM::C),

CvParamGrid gammaGrid=get_default_grid(CvSVM::GAMMA), 

CvParamGrid pGrid=get_default_grid(CvSVM::P),

CvParamGrid nuGrid=get_default_grid(CvSVM::NU), 

CvParamGrid coeffGrid=get_default_grid(CvSVM::COEF),

CvParamGrid degreeGrid=get_default_grid(CvSVM::DEGREE), 

bool balanced=false

)

<3>自動訓練函數的參數注釋(13個)

• 前5個參數參考構造函數的參數注釋。
• k_fold: 交叉驗證參數。訓練集被分成k_fold的自子集。其中一個子集是用來測試模型，其他子集則成為訓練集。所以，SVM算法復雜度是執行k_fold的次數。
• *Grid: (6個)對應的SVM迭代網格參數。
• balanced: 如果是true則這是一個2類分類問題。這將會創建更多的平衡交叉驗證子集。

<4>自動訓練函數的使用說明

• 這個方法根據CvSVMParams中的最佳參數C, gamma, p, nu, coef0, degree自動訓練SVM模型。
• 參數被認為是最佳的交叉驗證，其測試集預估錯誤最小。
• 如果沒有需要優化的參數，相應的網格步驟應該被設置為小於或等於1的值。例如，為了避免gamma的優化，設置gamma_grid.step = 0，gamma_grid.min_val， gamma_grid.max_val 為任意數值。所以params.gamma 由gamma得出。
• 最后，如果參數優化是必需的，但是相應的網格卻不確定，你可能需要調用函數CvSVM::get_default_grid()，創建一個網格。例如，對於gamma，調用CvSVM::get_default_grid(CvSVM::GAMMA)。
• 該函數為分類運行 (params.svm_type=CvSVM::C_SVC 或者 params.svm_type=CvSVM::NU_SVC) 和為回歸運行 (params.svm_type=CvSVM::EPS_SVR 或者 params.svm_type=CvSVM::NU_SVR)效果一樣好。如果params.svm_type=CvSVM::ONE_CLASS，沒有優化，並指定執行一般的SVM。

<5>網格搜索法+K交叉驗證

    上述使用說明是OpenCV使用文檔中的，這里再加其他一些補充：

A、可參考文章《 SVM分類核函數和參數選擇比較》《 基於改進的網格搜索法的SVM參數優化》《 LibSVM分類的實用指南》《 libsvm交叉驗證與網格搜索（參數選擇）》，講到了K交叉驗證和網格搜索法。

B、優化參數的方式一般是用網格搜索法取值，然后對這組參數進行K交叉驗證，計算精確值(交叉驗證的准確率等於能夠被正確分類的數量百分比)，尋求最優參數。

 

(4)預測函數

<1>作用：對輸入樣本做預測響應。  

<2>預測函數的函數 原型

C++: float CvSVM::predict(const Mat& sample, bool returnDFVal=false ) const

C++: float CvSVM::predict(const CvMat* sample, bool returnDFVal=false ) const

C++: float CvSVM::predict(const CvMat* samples, CvMat* results) const

<3>預測函數的參數注釋

• sample: 需要預測的輸入樣本。
• samples: 需要預測的輸入樣本們。
• returnDFVal: 指定返回值類型。如果值是true，則是一個2類分類問題，該方法返回的決策函數值是邊緣的符號距離。
• results: 相應的樣本輸出預測的響應。

<4>預測函數的使用說明

• 這個函數用來預測一個新樣本的響應數據(response)。
• 在分類問題中，這個函數返回類別編號；在回歸問題中，返回函數值。
• 輸入的樣本必須與傳給trainData的訓練樣本同樣大小。
• 如果訓練中使用了varIdx參數，一定記住在predict函數中使用跟訓練特征一致的特征。
• 后綴const是說預測不會影響模型的內部狀態，所以這個函數可以很安全地從不同的線程調用。

(5)生成SVM網格參數的函數

<1>作用： 生成一個SVM網格參數。 

<2>函數原型

C++:  CvParamGrid CvSVM:: get_default_grid(int  param_id)

 

<3>函數的參數注釋

• param_id: SVM參數的IDs必須是下列中的一個：(網格參數將根據這個ID生成 )
• CvSVM::C
• CvSVM::GAMMA
• CvSVM::P
• CvSVM::NU
• CvSVM::COEF
• CvSVM::DEGREE

<4>函數的使用說明

       該函數生成一個指定的SVM網格參數，主要用於傳遞給自動訓練函數 CvSVM::train_auto()。

 

(6)獲取當前SVM參數的函數

<1>作用： 獲取當前SVM參數

<2>函數原型：

C++:  CvSVMParams CvSVM:: get_params() const

<3>函數的使用說明

        這個函數主要是在使用CvSVM::train_auto()時去獲得最佳參數。

 

(7)獲取支持向量及其數量的函數

<1>作用：獲取支持向量及其數量

<2>函數原型：

C++: int CvSVM::get_support_vector_count() const  //獲取支持向量的數量

C++: const float* CvSVM::get_support_vector(int i) const    //獲取支持向量

        參數：i – 指定支持向量的索引。

 

(8)獲取所用特征的數量的函數

<1>作用：獲取所用特征的數量

<2>函數原型：

C++:  int CvSVM:: get_var_count() const

 

三、OpenCV的簡單的程序例子

1、Introduction to Support Vector Machines(可參考 【OpenCV2.4】SVM的參數和函數介紹)

    上述講述了處理一個 線性可分情況的例子，包含了SVM使用的幾個步驟：

(1)准備訓練樣本及其類別標簽(trainingDataMat，labelsMat )

(2)設置訓練參數( CvSVMParams )

(3)對SVM進行訓練(CvSVM:: train )

(4)對新的輸入樣本進行預測(CvSVM:: predict )

(5)獲取支持向量(CvSVM:: get_support_vector_count，CvSVM:: get_support_vector  )

 

2、Support Vector Machines for Non-Linearly Separable Data(可參考 【OpenCV2.4】SVM處理線性不可分的例子)

    上述講述了處理一個 線性不可分情況的例子，着重講述了 懲罰因子C的作用：

• C比較大時：分類錯誤率較小，但是間隔也較小。 在這種情形下， 錯分類對模型函數產生較大的影響，既然優化的目的是為了最小化這個模型函數，那么錯分類的情形必然會受到抑制。
• C比較小時：間隔較大，但是分類錯誤率也較大。 在這種情形下，模型函數中錯分類之和這一項對優化過程的影響變小，優化過程將更加關注於尋找到一個能產生較大間隔的超平面。

     換而言之，C越大，優化時越關注錯分問題；C越小，越關注能否產生一個較大間隔的超平面。

    由於樣本非線性可分， 自然就有一些被錯分類的樣本。

 

3、多分類的簡單例子(可參考 利用SVM解決2維空間向量的3級分類問題)

    上述講述了一個三分類的例子，核函數用了RBF，並用到了其參數gamma，以及懲罰因子C，訓練與預測和二分類一樣，只要對樣本賦予第三類的類別標簽。

 

4、文字識別的簡單例子(可參考 SVM對文字識別的簡單使用和 使用OPENCV訓練手寫數字識別分類器)

    訓練與預測的使用方法和上述一樣，主要看下對圖像數據的處理(簡單的特征提取)。

 

5、HOG+SVM的例子(可參考 OpenCV中的HOG+SVM物體分類和 利用HOG+SVM訓練自己的XML文件)

    訓練與預測的使用方法還是和上述一樣，主要看下Hog特征的使用( HOGDescriptor::compute)。

 

四、SVM處理流程總結：

1、 收集數據， 相關性分析（比如p卡方檢驗）， 特征選擇（比如主成份分析PCA）。

2、歸一化數據：就是根據實際要求，將數據的取值范圍轉化為統一的區間如[a,b],a,b為整數。（參考 縮放訓練和測試數據時的常見錯誤[附錄B]）

3、分訓練集和測試集：利用抽樣技術將數據集分為訓練集和測試集。抽樣技術有分層抽樣，簡單抽樣（等概率抽樣）。 一般訓練集數量大於測試集數量，就是要保證足夠的訓練樣例。

4、將數據轉化為軟件（接口）所支持的格式。

5、選擇核函數，可以優先考慮RBF。

6、使用交叉驗證（cross-validation）尋找最佳參數C和Υ：對訓練集利用交叉驗證法選擇最好的參數C和r（西格瑪）（RBF核函數中的參數gama）。可以通過網格法尋找出最優的參數，注意一次交叉驗證得到一個參數對所對應的模型精度，網格法目的就是找到使得模型精度達到對高的參數對（這里的參數對可能不止兩個，有可能也有其他的），可以使用一些啟發式的搜索來降低復雜度，雖然這個方法笨了點，但是它能得到很穩定的搜索結果。需要提到的這里在對訓練集進行分割的時候涉及到抽樣，一個較好的方法就是分層抽樣。從這步可以看出其實 Cross－Validation是一種評估算法的方法。

    a. 訓練的目的得到參數和支持向量（存儲在xml文件中），得到參數就能得到支持向量，帶進算式計算SVM分類的准確度，以准確度最高的一組參數作為最終的結果，沒有絕對線性可分的，都有一個誤差，參數就是把那個誤差降到最低。

    b. 這里的准確性是指將訓練集的每個樣本的向量與支持向量做運算，將運算結果與標記值比較,判斷是否屬於這個類，統計這個類的正確的樣本數，最高的那一組參數准確性最高。

    c. 最終訓練得到分類器。SVM只能分兩類，所以這里的分類器是兩個類組成一個分類器，如果有K類，就有k(k-1)/2個分類器。

7、使用最佳參數C和Υ來訓練整個訓練集：用6中得到的參數對在整個訓練集合上進行訓練，從而得出模型。

8、測試：利用測試集測試模型，得到精度。這個精度可以認為是模型最終的精度。當然有人會擔心3步中抽樣會有一定的誤差，導致8得到的精度不一定是最好的，因此可以重復3－8得到多個模型的精度，然后選擇最好的一個精度最為模型的精度（或者求所有精度的均值做為模型精度）。（需要多次選擇訓練集和測試集，然后每一次得到一個精度的模型，選擇最好的一個精度作為模型，也就是我們項目里面要多次訓練的原因）。

9. 識別分類：兩個類超平面的形成，意味着目標函數的形成，然后代入待識別樣本，識別時對應的組代入對應的參數，得出結果進行投票，判定屬於那個類。