3.1 線性不可以分
我們之前討論的情況都是建立在樣例線性可分的假設上,當樣例線性不可分時,我們可以嘗試使用核函數來將特征映射到高維,這樣很可能就可分了。然而,映射后我們也不能100%保證可分。那怎么辦呢,我們需要將模型進行調整,以保證在不可分的情況下,也能夠盡可能地找出分隔超平面。
看下面兩張圖:
可以看到一個離群點(可能是噪聲)可以造成超平面的移動,間隔縮小,可見以前的模型對噪聲非常敏感。再有甚者,如果離群點在另外一個類中,那么這時候就是線性不可分了。
這時候我們應該允許一些點游離並在在模型中違背限制條件(函數間隔大於1)。我們設計得到新的模型如下(也稱軟間隔):
引入非負參數后(稱為松弛變量),就允許某些樣本點的函數間隔小於1,即在最大間隔區間里面,或者函數間隔是負數,即樣本點在對方的區域中。而放松限制條件后,我們需要重新調整目標函數,以對離群點進行處罰,目標函數后面加上的
就表示離群點越多,目標函數值越大,而我們要求的是盡可能小的目標函數值。這里的C是離群點的權重,C越大表明離群點對目標函數影響越大,也就是越不希望看到離群點。我們看到,目標函數控制了離群點的數目和程度,使大部分樣本點仍然遵守限制條件。
模型修改后,拉格朗日公式也要修改如下:
這里的和
都是拉格朗日乘子,回想我們在拉格朗日對偶中提到的求法,先寫出拉格朗日公式(如上),然后將其看作是變量w和b的函數,分別對其求偏導,得到w和b的表達式。然后代入公式中,求帶入后公式的極大值。整個推導過程類似以前的模型,這里只寫出最后結果如下:
此時,我們發現沒有了參數,與之前模型唯一不同在於
又多了
的限制條件。需要提醒的是,b的求值公式也發生了改變,改變結果在SMO算法里面介紹。先看看KKT條件的變化:
第一個式子表明在兩條間隔線外的樣本點前面的系數為0,離群樣本點前面的系數為C,而支持向量(也就是在超平面兩邊的最大間隔線上)的樣本點前面系數在(0,C)上。通過KKT條件可知,某些在最大間隔線上的樣本點也不是支持向量,相反也可能是離群點。
10 坐標上升法(Coordinate ascent)
在最后討論的求解之前,我們先看看坐標上升法的基本原理。假設要求解下面的優化問題:
這里W是向量的函數。之前我們在回歸中提到過兩種求最優解的方法,一種是梯度下降法,另外一種是牛頓法。現在我們再講一種方法稱為坐標上升法(求解最小值問題時,稱作坐標下降法,原理一樣)。
方法過程:
最里面語句的意思是固定除之外的所有
,這時W可看作只是關於
的函數,那么直接對
求導優化即可。這里我們進行最大化求導的順序i是從1到m,可以通過更改優化順序來使W能夠更快地增加並收斂。如果W在內循環中能夠很快地達到最優,那么坐標上升法會是一個很高效的求極值方法。
下面通過一張圖來展示:
橢圓代表了二次函數的各個等高線,變量數為2,起始坐標是(2,-2)。圖中的直線式迭代優化的路徑,可以看到每一步都會向最優值前進一步,而且前進路線是平行於坐標軸的,因為每一步只優化一個變量。
3.2 核函數(Kernels)
定義 3.1 (核或正定核)設是中的一個子集,稱定義在上的函數是核函數,如果存在一個從到Hilbert空間的映射
(1.1)
使得對任意的,
都成立。其中表示Hilbert空間中的內積。
考慮我們最初在“線性回歸”中提出的問題,特征是房子的面積x,這里的x是實數,結果y是房子的價格。假設我們從樣本點的分布中看到x和y符合3次曲線,那么我們希望使用x的三次多項式來逼近這些樣本點。那么首先需要將特征x擴展到三維,然后尋找特征和結果之間的模型。我們將這種特征變換稱作特征映射(feature mapping)。映射函數稱作
,在這個例子中
我們希望將得到的特征映射后的特征應用於SVM分類,而不是最初的特征。這樣,我們需要將前面公式中的內積從
,映射到
。
至於為什么需要映射后的特征而不是最初的特征來參與計算,上面提到的(為了更好地擬合)是其中一個原因,另外的一個重要原因是樣例可能存在線性不可分的情況,而將特征映射到高維空間后,往往就可分了。(在《數據挖掘導論》Pang-Ning Tan等人著的《支持向量機》那一章有個很好的例子說明)
將核函數形式化定義,如果原始特征內積是,映射后為
,那么定義核函數(Kernel)為
到這里,我們可以得出結論,如果要實現該節開頭的效果,只需先計算,然后計算
即可,然而這種計算方式是非常低效的。比如最初的特征是n維的,我們將其映射到
維,然后再計算,這樣需要
的時間。那么我們能不能想辦法減少計算時間呢?
先看一個例子,假設x和z都是n維的,
展開后,得
這個時候發現我們可以只計算原始特征x和z內積的平方(時間復雜度是O(n)),就等價與計算映射后特征的內積。也就是說我們不需要花時間了。
現在看一下映射函數(n=3時),根據上面的公式,得到
也就是說核函數只能在選擇這樣的
作為映射函數時才能夠等價於映射后特征的內積。
再看一個核函數
對應的映射函數(n=3時)是
更一般地,核函數對應的映射后特征維度為
。(求解方法參見http://zhidao.baidu.com/question/16706714.html)。
由於計算的是內積,我們可以想到IR中的余弦相似度,如果x和z向量夾角越小,那么核函數值越大,反之,越小。因此,核函數值是和
的相似度。
再看另外一個核函數
這時,如果x和z很相近(),那么核函數值為1,如果x和z相差很大(
),那么核函數值約等於0。由於這個函數類似於高斯分布,因此稱為高斯核函數,也叫做徑向基函數(Radial Basis Function 簡稱RBF)。它能夠把原始特征映射到無窮維。
既然高斯核函數能夠比較x和z的相似度,並映射到0到1,回想logistic回歸,sigmoid函數可以,因此還有sigmoid核函數等等。
下面有張圖說明在低維線性不可分時,映射到高維后就可分了,使用高斯核函數。
來自Eric Xing的slides
注意,使用核函數后,怎么分類新來的樣本呢?線性的時候我們使用SVM學習出w和b,新來樣本x的話,我們使用來判斷,如果值大於等於1,那么是正類,小於等於是負類。在兩者之間,認為無法確定。如果使用了核函數后,
就變成了
,是否先要找到
,然后再預測?答案肯定不是了,找
很麻煩,回想我們之前說過的
核函數有效性判定
問題:給定一個函數K,我們能否使用K來替代計算,也就說,是否能夠找出一個
,使得對於所有的x和z,都有
?
下面來解決這個問題,給定m個訓練樣本,每一個
對應一個特征向量。那么,我們可以將任意兩個
和
帶入K中,計算得到
。I可以從1到m,j可以從1到m,這樣可以計算出m*m的核函數矩陣(Kernel Matrix)。為了方便,我們將核函數矩陣和
都使用K來表示。
如果假設K是有效地核函數,那么根據核函數定義
可見,矩陣K應該是個對稱陣。讓我們得出一個更強的結論,首先使用符號來表示映射函數
的第k維屬性值。那么對於任意向量z,得
最后一步和前面計算時類似。從這個公式我們可以看出,如果K是個有效的核函數(即
和
等價),那么,在訓練集上得到的核函數矩陣K應該是半正定的(
)
這樣我們得到一個核函數的必要條件:
K是有效的核函數 ==> 核函數矩陣K是對稱半正定的。
可幸的是,這個條件也是充分的,由Mercer定理來表達。
Mercer定理: 如果函數K是 |
Mercer定理表明為了證明K是有效的核函數,那么我們不用去尋找,而只需要在訓練集上求出各個
,然后判斷矩陣K是否是半正定(使用左上角主子式大於等於零等方法)即可。
許多其他的教科書在Mercer定理證明過程中使用了范數和再生希爾伯特空間等概念,但在特征是n維的情況下,這里給出的證明是等價的。
核函數不僅僅用在SVM上,但凡在一個模型后算法中出現了,我們都可以常使用
去替換,這可能能夠很好地改善我們的算法。