概念 在機器學習中經常會碰到一些高維的數據集，而在高維數據情形下會出現數據樣本稀疏，距離計算等困難，這類問題是所有機器學習方法共同面臨的嚴重問題，稱之為“ 維度災難 ”。另外在高維特征中容易出現特征之間的線性相關，這也就意味着有的特征是冗余存在的。基於這些問題，降維思想就出現了。 降維方法 ...

最近對PCA主成分分析做了一定的了解，對PCA基礎和簡單的代碼做了小小的總結 有很多博客都做了詳細的介紹，這里也參考了這些大神的成果： http://blog.sina.com.cn/s/blog_75e063c101014aob.html 這個博客opencv簡單實現了PCA，對PCA ...

說明：實際上EVD（特征分解）是SVD的一種特殊情況；逆是偽逆的特殊情況？，這在最小二乘當中有應用。 在“8點法”求解本質矩陣當中會有SVD分解，在3D到3D空間轉換中，算法icp有SVD解法。SVD作為一種分解矩陣的方法， 有着廣泛應用。 一、特征分解（手寫word截圖 ...

轉載請聲明出處：http://blog.csdn.net/zhongkelee/article/details/44064401 一、PCA簡介 1. 相關背景 上完陳恩紅老師的《機器學習與知識發現》和季海波老師的《矩陣代數》兩門課之后，頗有體會。最近在做主成分分析和奇異值分解 ...

一、特征向量/特征值 　　Av = λv 　　如果把矩陣看作是一個運動，運動的方向叫做特征向量，運動的速度叫做特征值。對於上式，v為A矩陣的特征向量，λ為A矩陣的特征值。 　　假設：v不是A的速度（方向） 　　結果如上，不能滿足上式的。 二、協方差矩陣 　　方差（Variance ...

數據集中含有太多特征時，需要簡化數據。降維不是刪除部分特征，而是將高維數據集映射到低維數據集，映射后的數據集更簡潔，方便找出對結果貢獻最大的部分特征。 簡化數據的原因： 1、使得數據集更易使用 2、降低很多算法的計算開銷 3、去除噪聲 4、使得結果易懂 PCA：principal ...

　　PCA要做的事降噪和去冗余，其本質就是對角化協方差矩陣。 一.預備知識 　　1.1 協方差分析 　　對於一般的分布，直接代入E(X)之類的就可以計算出來了，但真給你一個具體數值的分布，要計算協方差矩陣，根據這個公式來計算，還真不容易反應過來。網上值得參考的資料也不多，這里用一個 ...

MATLAB實例：PCA降維 作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/ 1. iris數據 5.1,3.5,1.4,0.2,1 4.9,3.0,1.4,0.2,1 4.7,3.2,1.3,0.2,1 ...