1、表示定理的證明
如果你求解的是L2-regularized的問題,那么一定有一個最好的w可以表示成z的線性組合:
如何來證明這件事情呢?
我們將w分成兩個部分,分別為w的平行部分(由zn展開的那個空間的向量來構成)和w的垂直部分(與zn展開表示的向量垂直的向量)。
我們希望最后完全沒有w的垂直部分。
將最優的那個w與zn相乘其實和w的平行部分和zn相乘得到的結果是一樣的,因為w的垂直部分與zn相乘為0,所以得到的err是一樣的。
對於最佳解wTw,其包含w的平行部分的平方和w的垂直部分的平方,如果使用反證法,假設w的垂直部分不是0,那么,wTw必將大於w的平行部分的平方,但是最小解wTw卻比w的平行部分的平方還大,這與我們的假設是矛盾的,所以就證明了w的垂直部分為0。
這樣就證明了w的最佳解可以被z線性表達。
通過上面的證明,我們知道只要是求解L2的線性模型,就可以使用核技巧。
2、 將核函數用於邏輯回歸
我們先得到要求解的表達式,然后用zn和βn的線性組合的方式表示最佳的w,代入到原始的式子中,就可以通過求βn代替求w了。
這就得到了一個沒有約束條件的最佳化問題,我們可以通過梯度下降的方法來求解βn。這就是核邏輯回歸問題。