核函數的定義和作用(轉)


  我來舉一個核函數把低維空間映射到高維空間的例子。

  下面這張圖位於第一、二象限內。我們關注紅色的門,以及“北京四合院”這幾個字下面的紫色的字母。我們把紅色的門上的點看成是“+”數據,紫色字母上的點看成是“-”數據,它們的橫、縱坐標是兩個特征。顯然,在這個二維空間內,“+”“-”兩類數據不是線性可分的。

  我們現在考慮核函數K(v_1,v_2) = <v_1,v_2>^2,即“內積平方”。這里面v_1=(x_1,y_1), v_2=(x_2,y_2)是二維空間中的兩個點。這個核函數對應着一個二維空間到三維空間的映射,它的表達式是:
                                                                                      P(x,y)=(x^2,\sqrt{2}xy,y^2)

可以驗證,
<P(v_1),P(v_2)>
&= &<(x_1^2,\sqrt{2}x_1y_1,y_1^2),(x_2^2,\sqrt{2}x_2y_2,y_2^2)> \\
&= &x_1^2x_2^2 + 2x_1x_2y_1y_2+y_1^2y_2^2 \\
&= &(x_1x_2 + y_1y_2)^2 \\
&= &<v_1,v_2>^2 \\
&= &K(v_1,v_2)

在P這個映射下,原來二維空間中的圖在三維空間中的像是這個樣子:

                                               (前后軸為x軸,左右軸為y軸,上下軸為z軸)
注意到綠色的平面可以完美地分割紅色和紫色,也就是說,兩類數據在三維空間中變成線性可分的了。而三維中的這個判決邊界,再映射回二維空間中是這樣的:


這是一條雙曲線,它不是線性的。

================================================

  如上面的例子所說,核函數的作用就是隱含着一個從低維空間到高維空間的映射,而這個映射可以把低維空間中線性不可分的兩類點變成線性可分的。

當然,我舉的這個具體例子強烈地依賴於數據在原始空間中的位置。
事實中使用的核函數往往比這個例子復雜得多。它們對應的映射並不一定能夠顯式地表達出來;它們映射到的高維空間的維數也比我舉的例子(三維)高得多,甚至是無窮維的。這樣,就可以期待原來並不線性可分的兩類點變成線性可分的了。

================================================

  在機器學習中常用的核函數,一般有這么幾類,也就是LibSVM中自帶的這幾類:
1) 線性:K(v_1,v_2)=<v_1,v_2>
2) 多項式:K(v_1,v_2)=(\gamma<v_1,v_2>+c)^n
3) Radial basis function:K(v_1,v_2)=\exp(-\gamma||v_1-v_2||^2)
4) Sigmoid:K(v_1,v_2)=\tanh(\gamma<v_1,v_2>+c)

我舉的例子是多項式核函數中\gamma=1, c=0, n=2的情況。

  在實用中,很多使用者都是盲目地試驗各種核函數,並掃描其中的參數,選擇效果最好的。至於什么樣的核函數適用於什么樣的問題,大多數人都不懂。很不幸,我也屬於這大多數人,所以如果有人對這個問題有理論性的理解,還請指教。

================================================

  核函數要滿足的條件稱為 Mercer's condition。由於我以應用SVM為主,對它的理論並不很了解,就不闡述什么了。使用SVM的很多人甚至都不知道這個條件,也不關心它;有些不滿足該條件的函數也被拿來當核函數用。

  
 
作者:王贇 Maigo
鏈接:https://www.zhihu.com/question/24627666/answer/28440943
來源:知乎


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM