主成分分析（PCA）
有任何问题可以联系jimmy_huang136@163.com或者在下方留言
1.概念
对信息进行降维处理，只保留一个维度的信息；PCA的目的就是找到一个坐标系，使得数据在只保留一个维度时，保留的信息最多（如下图所示）
2.目标
点投影到新的坐标系时，点比较分散（方差最大），此时保留的信息最多。寻找坐标轴即是目标
3.基本步骤
- 去中心化（把坐标原点放在数据的中心）
- 找坐标系（找到方差最大的方向）
4.如何找到方差最大的方向
拉伸
\[SD = \begin{bmatrix} 2 & 0\\ 0 & 1\\ \end{bmatrix} * \left[ \begin{matrix} x_1 & x_2 & x_3 & x_4\\ y_1 & y_2 & y_3 & y_4\\ \end{matrix} \right]\tag{1} = \begin{bmatrix} 2x_1 & 2x_2 & 2x_3 &2x_4\\ y_1 & y_2 & y_3 & y_4\\ \end{bmatrix} \]
SD表示的是进行拉伸操作，其中S为拉伸矩阵（只有对角线上有数字）
旋转
\[RD = \begin{bmatrix} cos(𝜽)&-sin(𝜽)\\ sin(𝜽)&cos(𝜽)\\ \end{bmatrix} * \begin{bmatrix} x_1&x_2&x_3&x_4\\ y_1&y_2&y_3&y_4\\ \end{bmatrix}\tag{2} \]
RSD 即旋转且拉伸
旋转的角度决定了最大的方向的角度
拉伸决定了方差最大的方向是横或者纵
5.白数据变化过程
白数据即为x,y都是标准的正态分布，且x,y互不干涉，协方差为0
graph LR; 白数据D --> 拉伸SD --> 旋转RSD -->我们手上的数据D'=RSD
6.如何求R（反推法）
协方差矩阵的特征向量即R
协方差的定义
\[cov(x,y) = \frac{\sum^{n}_{i=1}(x_i-\overline{x})(y_i-\overline{y})}{n-1}\tag{3} \]
协方差表示的是：两个向量在变化过程是同方向变化？还是反方向变化？同向或反向程度如何？
协方差=0表示不相关；>0表示正相关；<0表示负相关
eg.比如x在增大，y也随着增大，那么协方差就大于0
\[x\uparrow \longrightarrow y\uparrow \longrightarrow cov(x,y) > 0 \]
协方差矩阵
这里的协方差矩阵对称阵，对角线是方差
\[C = \begin{bmatrix} cov(x,x)&cov(x,y)\\ cov(x,y)&cov(y,y)\\ \end{bmatrix}\tag{4} \]
eg.如下图所示，在拉伸旋转过程中，协方差矩阵里面的值也会跟着改变
协方差矩阵演算
代入cov可得：
\[C = \begin{bmatrix} \frac{\sum^n_{i=1}x_i^2}{n-1} & \frac{\sum^n_{i=1}x_iy_i}{n-1}\\ \frac{\sum^n_{i=1}x_iy_i}{n-1} & \frac{\sum^n_{i=1}y_i^2}{n-1}\\ \end{bmatrix} \]
\[=\frac{1}{n-1}\begin{bmatrix} x_1&x_2&x_3&x_4\\ y_1&y_2&y_3&y_4\\ \end{bmatrix} \begin{bmatrix} x_1&y_1\\ x_2&y_2\\ x_3&y_3\\ x_4&y_4\\ \end{bmatrix} \]
\[=\frac{1}{n-1}DD^T \]
得到如下结果：
\[C = \frac{1}{n-1}DD^T\tag{5} \]
于是我们手上的数据D ' 的协方差就为：
\[C' = \frac{1}{n-1}D'D^{'T} \]
代入D' = RSD，可得
\[C' = \frac{1}{n-1}RSD(RSD)^T \]
\[=\frac{1}{n-1}RSDR^TS^TD^T = RS(\frac{1}{n-1}DD^T)S^TR^T \]
将（5）带入其中，由于我们取D为白数据，所以C即为单位矩阵，可得：
\[= RSS^TR^T：\\ 又由于S(拉伸),R(旋转)的特质可得\\ \]
\[S = S^T \qquad R^T= R^{-1}\\ let:\qquad L = SS^T = \begin{bmatrix} a^2&0\\ 0&b^2\\ \end{bmatrix} \]
\[so:\qquad C' =RLR^{-1}\tag{6} \]
特征值与特征向量
由于C'是2*2的矩阵，所有就有两个特征值和特征向量，经过变化可得我们要求的R就是两个特征向量组合起来
所以需要求的R：
\[R = \vec{v_1}\vec{v_2}\tag{7} \]
v1向量即为新坐标系的x轴方向，v2向量即为新坐标系的y轴方向，这里还有关于特征值的一点：
\[L = \begin{bmatrix} 𝛌_1&0\\ 0&𝛌_2\\ \end{bmatrix}=SS^T =\begin{bmatrix} a^2&0\\ 0&b^2\\ \end{bmatrix} \]
如果我们进行反推
\[\qquad 我们手中的数据D'\longrightarrow (逆旋转)R^{-1}D'\longrightarrow S^{-1}R^{-1}D' \longrightarrow 白数据D \]
这里可以这样推导协方差矩阵：
\[D'\longrightarrow C'\\ R^{-1}D' \longrightarrow C_1 = L \]
7.PCA具体流程
graph LR; 数据-->去中心化-->协方差矩阵; 协方差矩阵-->特征向量-->坐标轴方向; 协方差矩阵-->特征值-->坐标轴方差;
8.三维降二维（略）
9.PCA的缺点
离散点对于整个降维过程的影响比较大，如果数据离散点比较多，建议采用其他降维方法
10.PCA与SVD
奇艺值分解Singular Value Decomposition(SVD)
\[D^T = UΣV^T\\\tag{8} \begin{bmatrix} x_1&y_1\\ x_2&y_2\\ x_3&y_3\\ x_4&y_4\\ \end{bmatrix} = \begin{bmatrix} -&-&-&-\\ -&-&-&-\\ -&-&-&-\\ -&-&-&-\\ \end{bmatrix} \begin{bmatrix} a&0\\ 0&b\\ 0&0\\ 0&0\\ \end{bmatrix} \begin{bmatrix} -&-\\ -&-\\ \end{bmatrix} \]
Σ是一个对角矩阵，a,b为奇艺值，奇艺值就是特征值的开平方，最右边的矩阵为R矩阵
PCA计算量很大，运用SVD可以不用求协方差矩阵；
