再生核希爾伯特空間(RKHS)在監督學習(SVM)中的應用

 

【轉載請注明出處】http://www.cnblogs.com/mashiqi

 

2014/4/10

在網上找到一個講reproducing kernel的tutorial看了一看，下面介紹一下。

 

首先定義kernel(核)：

於是我們可以從一個空間定義出一個kernel。接着，我們使用一個kernel來定義一個從到的映射，並稱這個映射為reproducing kernel feature map(再生核特征映射)：

    .

這個映射的意思是：特定的kernel和上的一個特定的元素構成了一個映射規則，將的任意元素的映射成一個實數，那么，實際上，就是將映射成了。

值得注意的是，在泛函分析中，Hilbert空間上的"表現定理"說的是，任意一個內積都可以等價於一個線性泛函，任意一個線性泛函也等價於某個內積，即對任意線性泛函，，使得。然而這里的"再生核特征映射"和"線性泛函"的區別是:

再生核特征映射是由某個核生成的;

而線性泛函是由內積生成的。

 

下面我們通過這個映射來定義一個Hilbert space。

第一步，構造一個空間(現在它還不完備，稍后會將它完備化)。於是，將所張成的空間記為：

    

第二步，在上定義內積：

於是我們可以很容易的驗證此內積滿足內積的三個條件。

第三步，將空間完備化。

於是我們就由kernel構造出一個完備的希爾伯特空間，此空間稱為reproducing kernel Hilbert space(再生核希爾伯特空間):

在第二步定義內積的過程中，我們可以發現，對於，有

    

我們稱滿足的為reproducing kernel(再生核)。

 

Reference

[1] http://www.cs.berkeley.edu/~bartlett/courses/281b-sp08/7.pdf

 

 

2014/4/19

今天接着10號繼續看再生核空間的內容。

今天終於有了些進展，下面講講這個再生核到底是怎么回事。

 

首先我們有一個由泛函構成的空間：

    

這些泛函又是定義在集合上的。通常，我們的思路一般會把默認為Hilbert空間，然后將理解為它的對偶空間。我最開始就是這樣默認的。但是其實這里不應該這樣去理解它。再生核理論基本上了默認以空間為Hilbert空間的，而集合只是理解為一個一般的集合。然后，再生核也是內的一個元，只是他相比較於一般的元而言，擁有更多的性質。好，大概鋪墊完了，下面給出一些具體的定義，大部分內容來自。

我們首先來給出reproducing Kernel(r.k.再生核)的定義：

也就是說，現在我們有一個Hilbert空間，Hilbert空間里面的每一個點都是一個泛函：

    

而也是一個泛函：

    

並且還必須滿足兩條性質：

1、對於一個固定的，是Hilbert空間中的一個元素；

2、再生性質：對於每個和，都有：

    

其中表示Hilbert空間上的內積運算。根據這個再生性質，我們立即可以得到：

        

        

值得注意的是，式是一個令人滿意的結果，根據這個式子我們可以很容易的得到的正定性。根據這個再生性質，我們立即可以得到以下幾個推論(直接截圖了)：

 

如果存在則唯一(表示reproducing kernel)：

 

"存在再生核"等價於"每個泛函都連續"：

(*注：這里的連續性是指的上的泛函關於連續，而不是指的關於連續)

證明：

記上的泛函為，當上存在kernel時，有：

    

而根據式我們有：

    

所以：

    

其中和無關。所以是有界泛函。又因為顯然是線性的，所以是連續泛函。

而當是連續泛函時，因為它是線性的，所以根據表現定理即可證明。

證畢。

這也正如中所說：

 

再生核的正定性：

正定性證明：

    

證畢。

(*注：正定性是指在集合上的正定性，)

 

還有一些其他性質，除了"命題8"以外，其他命題對於本次學習的目標並不是很重要：

 

接着我們要做的事就是構造這樣一個Hilbert空間，這個空間上的內積，以及這個空間上的唯一的一個kernel。

 

Reference

[1] Aronszajn, Nachman. "Theory of reproducing kernels." Transactions of the American mathematical society (1950): 337-404.

[2] 王敏慧，"幾類高斯過程的Karhunen-Loève展開及再生核希爾伯特空間"[D]，哈爾濱工業大學，2010

[3]Aronsazjn, Par N. "La théorie des noyaux reproduisants et ses applications Première Partie." Mathematical Proceedings of Cambridge Philosophical Society.Vol. 39. No. 03. Cambridge University Press, 1943.

[4] http://www.cs.berkeley.edu/~bartlett/courses/281b-sp08/7.pdf

 

2014/4/20

今天希望了解到上面所講的關於RKHS的性質與我們SVM中(以及其他機器學習技術)的核技術的聯系。

 

我們接着看的5.1.3的定理1：

上面的邏輯可以這樣描繪(這個圖是重點)：

上圖分別存在三個集合，分別表示集合，RKHS，和我們所需要的空間。分別存在三個映射①②③，分別表示到的映射，到的映射，和到之間的映射，當的維數至多可數時，就是空間。首先講解映射①，因為存在關系式：

        

所以存在映射,使得：

        

。又因為與都是Hilbert空間，所以同構，所以存在同構映射，使得：

        

那么，有了這兩步的鋪墊(映射①與映射②),我們便可以借助和搭建到之間的映射。結合兩式，我們得到：

        

記新的復合映射為：

        

便得到了：

        

我們應該注意的是，雖然最后的式並沒有涉及到Hilbert空間，但是如果沒有空間在其中牽線搭橋，引出兩個映射和，那我們也不可能找到映射使得式得意滿足。數學中的許多抽象概念在一些工程應用中雖不直接體現，但卻給這些工程應用搭建了一些橋梁，使得工作可以繼續深入！

 

Reference

[1] Aronszajn, Nachman. "Theory of reproducing kernels." Transactions of the American mathematical society (1950): 337-404.

[2] 王敏慧，"幾類高斯過程的Karhunen-Loève展開及再生核希爾伯特空間"[D]，哈爾濱工業大學，2010