核函數是什么
一、總結
一句話總結：
假設函數Ф是一個從低維特征空間到高維特征空間的一個映射，那么如果存在函數K(x,z), 對於任意的低維特征向量x和z，都有：K(x,z)=θ(x)*θ(z),稱函數K(x,z)為核函數(kernal function)
1、核函數在解決線性不可分問題的時候，采取的方式是什么？
a、使用低維特征空間上的計算來避免在高維特征空間中向量內積的恐怖計算量；
b、也就是說此時SVM模型可以應用在高維特征空間中數據可線性分割的優點，同時又避免了引入這個高維特征空間恐怖的內積計算量。
2、核函數本質？
核函數是一個低緯的計算結果，並沒有采用低緯到高維的映射。只不過核函數低緯運算的結果等價於映射到高維時向量點積的值。
二、核函數是什么
轉自：10 SVM - 核函數 - 簡書
https://www.jianshu.com/p/028d1883ad93
一、核函數初識
假設： 函數Ф是一個從低維特征空間到高維特征空間的一個映射，那么如果存在函數K(x,z), 對於任意的低維特征向量x和z，都有：
稱函數K(x,z)為核函數(kernal function)；
核函數在解決線性不可分問題的時候，采取的方式是：使用低維特征空間上的計算來避免在高維特征空間中向量內積的恐怖計算量；也就是說此時SVM模型可以應用在高維特征空間中數據可線性分割的優點，同時又避免了引入這個高維特征空間恐怖的內積計算量。
本質： 核函數是一個低緯的計算結果，並沒有采用低緯到高維的映射。只不過核函數低緯運算的結果等價於映射到高維時向量點積的值。
公式演繹：
不妨還是從最開始的簡單例子出發，設兩個向量x1 = (μ1 + μ2)T 和x2 = (η1 + η2)T ，兩個向量的點積是五維空間的映射，因此映射過后的內積為：
而同時我們可以發現有以下公式：
可以發現兩者之間非常相似，所以我們只要乘上一個相關的系數，就可以讓這兩個式子的值相等，這樣不就將五維空間的一個內積轉換為兩維空間的內積的運算。
舉例：
現有有兩個兩維的向量，進行二階多項式擴展，然后進行內積計算，這個時候映射高高維后計算的計算量為：11次乘法+4次加法；采用近似計算的計算量為：3次乘法+2次加法；采用加系數后的近似計算的計算量為：4次乘法+2次加法；
幾種核函數：
線性核函數(Linear Kernel): 即原函數，不做映射。
多項式核函數(Polynomial Kernel)：其中γ、r、d屬於超參，需要調參定義；
類似上面的函數，上面的0.8476是調參出來的結果。
重點：
高斯核函數(Gaussian Kernel)：其中γ屬於超參，要求大於0，需要調參定義；
高斯核在實際運用中特別多，不僅僅是因為需要調的參數比較少。
最重要的原因是：
在sklearn中，核函數是rbf，即Radial basis functionfuntion 徑向基；其中真正用到的核函數算法是高斯核。
PS：之前在講加權線性回歸中提過相似度的度量，其中用到的就是類似高斯核的函數。
Sigmoid核函數(Sigmoid Kernel)：其中γ、r屬於超參，需要調參定義；
了解即可，這個核函數別去用它，垃圾得一塌糊塗。
該算法大致上就是把Sigmoid函數變成了tan函數。
核函數的幾何意義：
將原始數據映射到高維，然后找一個超曲面來分割它們。差不多就是我上一章一開始畫的那個圖。
二、核函數總結
1、 核函數可以自定義；核函數必須是正定核函數，即Gram矩陣是半正定矩陣；
2、核函數的價值在於它雖然也是將特征進行從低維到高維的轉換，但核函數它事先在低維上進行計算，而將實質上的分類效果表現在了高維上，也就如上文所說的避免了直接在高維空間中的復雜計算；
3、 通過核函數，可以將非線性可分的數據轉換為線性可分數據；
三、高斯核公式證明
令z=x；那么進行多維變換后，應該是同一個向量，從而可以得到以下公式：
了解核函數的構造方式，尤其是高斯核。