核化線性降維(KPCA)的理解


1、為什么要提出核化線性降維(KPCA)?

答:PCA只能解決數據分布是線性的情況(數據大致分布在一個超平面附近),對於數據分布情況是非線性的有心無力
在這里插入圖片描述
可以看到,假如數據分布是圖(a)的樣子,利用PCA得到的圖(c)就是雜亂無章的,與他本真的結構差別比較大。
為了解決這個問題,提出了KPCA

2、KPCA的思想是什么?

答:你不是說數據分布不再是線性的了嗎,那我就想到了,當初支持向量機也是遇到過這個問題,他是怎么解決的呢?他把數據映射到高維空間去,在高維空間這些數據就是線性的了。好的,那我也有想法,PCA 不是只能處理線性分布的數據嗎,那我把這個非線性的數據映射懂啊高維去不就變成線性分布的了嗎。我再用 PCA 來處理映射后的高維數據,

好的,到這兒 KPCA 的思想就全部浮現了,把原始的非線性的數據映射到高維空間變成線性的,然后用 PCA 來處理映射后的高維數據。

在 PCA 里面有 \(\mathbf{x}{{\mathbf{x}}^{\text{T}}}\mathbf{w}=\lambda \mathbf{w}\Rightarrow \left( \sum\limits_{i=1}^{m}{{{x}_{i}}}x_{i}^{\text{T}} \right)\mathbf{w}=\lambda \mathbf{w}\),然后選前d(這個由你自己指定)個大的特征值對應的特征向量組成變換矩陣。

那么在KPCA里面有 \(Z{{Z}^{\text{T}}}\mathbf{W}=\lambda \mathbf{W}\Rightarrow \left( \sum\limits_{i=1}^{m}{{{z}_{i}}}z_{i}^{\text{T}} \right)\mathbf{W}=\lambda \mathbf{W}\) ,Z是樣本x映射到高維空間的像,\(z=\phi (x)\)
\(Z{{Z}^{\text{T}}}\mathbf{W}=\phi (X)\phi {{(X)}^ {\text{T}}}\mathbf{W}\),然后我們都知道映射函數不好求嘛,那么我們引入了核函數 \(K=\phi (X)\phi {{(X)}^{\text{T}}}\),則可以推出\(\Rightarrow K\mathbf{W}=\lambda \mathbf{W}\),那么我們取K最大的d個的特征值對應的特征向量組成變換矩陣,不就可以了


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM