1 核型嶺回歸
首先，嶺回歸的形式如下：
在《核型邏輯回歸》中我們介紹過一個定理，即以上這種形式的問題，求得的w都能表示為z的線性組合：
因此我們把w代入，問題就轉化為求β的問題，同時引入核技巧：
求解這個問題，先求梯度：
令梯度為0，可以直接解出β：
上式中，可保證逆矩陣一定存在，因為K是半正定的。
下面對比了線性嶺回歸和核型嶺回歸：
核型嶺回歸更加靈活，缺點是數據量大時效率低（可以用hadoop解決）。
2 SVR的標准形式
先介紹一下LSSVM，也就是用核型嶺回歸來做分類。下面是LSSVM與soft-margin SVM的對比：
從圖中我們看出，雖然邊界上差別不大，但是LSSVM比起soft-margin有個致命的缺點，就是有太多的支持向量(我們無法保證β是sparse的)，而soft-margin則可以根據KKT條件推出它的α是sparse的。這樣LSSVM這個模型就會非常的“肥大”，存儲的代價也遠遠不如soft-margin：
接下來，我們就探討如何改進LSSVM，使得它的α是sparse的。這種改進的模型就是我們要介紹的SVR。
我們對LSSVM的errhat做這樣的改進，把原來的squared error改為tube error。所謂tube error,就是考慮一個藍色的“安全區”，在此范圍內不計算懲罰，在此范圍外，只計算它到藍色邊界的距離作為懲罰，下圖是兩個error的對比圖：
這樣的話，我們的Tube Regression問題如下：
我們把上面的問題做如下的變形（后面兩步沒太看懂）：
這樣的話，就得到了我們SVR的標准形式：
3 SVR的對偶形式
利用與SVM對偶問題一樣的推導方式，我們構造拉格朗日函數：
並根據KKT條件：
代入經過一番數學推導后，可以得到對偶形式的SVR（注意引入了核函數）：
用二次規划程式就可以很方便的求解了。
下面我們說明，為什么SVR的β是sparse的。
對於在tube范圍內的數據，我們有：
根據ξ上和ξ下的定義，可知這里這兩個都為0：
根據以上兩個條件，我們就有：
再根據KKT條件：
就推出：
因此，對於tube內的所有點，β都是0。因此是sparse的。
4 核模型的總結
總結一下我們學到的核模型：
SVM
SVR
核型嶺回歸
核型邏輯回歸
SVM概率輸出模型。
其中，核型嶺回歸以及核型邏輯回歸我們實際中很少使用，這是因為他們的表示不是sparse的。我們可以用SVR和SVM概率輸出來代替它們。