概念 在机器学习中经常会碰到一些高维的数据集，而在高维数据情形下会出现数据样本稀疏，距离计算等困难，这类问题是所有机器学习方法共同面临的严重问题，称之为“ 维度灾难 ”。另外在高维特征中容易出现特征之间的线性相关，这也就意味着有的特征是冗余存在的。基于这些问题，降维思想就出现了。 降维方法 ...

最近对PCA主成分分析做了一定的了解，对PCA基础和简单的代码做了小小的总结 有很多博客都做了详细的介绍，这里也参考了这些大神的成果： http://blog.sina.com.cn/s/blog_75e063c101014aob.html 这个博客opencv简单实现了PCA，对PCA ...

说明：实际上EVD（特征分解）是SVD的一种特殊情况；逆是伪逆的特殊情况？，这在最小二乘当中有应用。 在“8点法”求解本质矩阵当中会有SVD分解，在3D到3D空间转换中，算法icp有SVD解法。SVD作为一种分解矩阵的方法， 有着广泛应用。 一、特征分解（手写word截图 ...

转载请声明出处：http://blog.csdn.net/zhongkelee/article/details/44064401 一、PCA简介 1. 相关背景 上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后，颇有体会。最近在做主成分分析和奇异值分解 ...

一、特征向量/特征值 　　Av = λv 　　如果把矩阵看作是一个运动，运动的方向叫做特征向量，运动的速度叫做特征值。对于上式，v为A矩阵的特征向量，λ为A矩阵的特征值。 　　假设：v不是A的速度（方向） 　　结果如上，不能满足上式的。 二、协方差矩阵 　　方差（Variance ...

数据集中含有太多特征时，需要简化数据。降维不是删除部分特征，而是将高维数据集映射到低维数据集，映射后的数据集更简洁，方便找出对结果贡献最大的部分特征。 简化数据的原因： 1、使得数据集更易使用 2、降低很多算法的计算开销 3、去除噪声 4、使得结果易懂 PCA：principal ...

　　PCA要做的事降噪和去冗余，其本质就是对角化协方差矩阵。 一.预备知识 　　1.1 协方差分析 　　对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个 ...

MATLAB实例：PCA降维 作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 1. iris数据 5.1,3.5,1.4,0.2,1 4.9,3.0,1.4,0.2,1 4.7,3.2,1.3,0.2,1 ...