covariance 指两个变量的相关性：cov(x, y) =E(x y) - E(x) E(y)
cov(x, y) < 0 负相关
cov(x, y) = 0 无关
cov(x, y) > 0 正相关
covariance matrix : Ki,j = cov(xi, xj)
以下例子中，x为输入，y为输出
K-L变换被广泛应用在图像压缩领域中，是一个线性变换(W是正交矩阵)
K-L变换的目标：通过KLT去除原数据之间的相关性，即解相关(decorrelatation)，设y的协方差矩阵为
假设x的每个列向量均值为0，由线性变换的性质，y的每个列向量均值也为0，则
因为W是正交矩阵，上式可写为
设
为W的列向量，则
![\begin{align*} \textbf{[W][C]}_{y}&=[\textbf{w}_{1}, \textbf{w}_{2}, \cdots, \textbf{w}_{n}] \begin{bmatrix} \lambda _{1} & & & \\ &\lambda _{2} & & \\ & &\ddots & \\ & & & \lambda _{n} \end{bmatrix}\\ &=[\lambda _{1}\textbf{w}_{1}, \lambda _{2}\textbf{w}_{2}, \cdots, \lambda _{n}\textbf{w}_{n}]\\ &=\textbf{[C]}_{x}[\textbf{w}_{1}, \textbf{w}_{2}, \cdots, \textbf{w}_{n}] \end{align*}](/image/aHR0cHM6Ly9wcml2YXRlLmNvZGVjb2dzLmNvbS9naWYubGF0ZXg_JTVDYmVnaW4lN0JhbGlnbiolN0QlMjAlNUN0ZXh0YmYlN0IlNUJXJTVEJTVCQyU1RCU3RF8lN0J5JTdEJTI2JTNEJTVCJTVDdGV4dGJmJTdCdyU3RF8lN0IxJTdEJTJDJTIwJTVDdGV4dGJmJTdCdyU3RF8lN0IyJTdEJTJDJTIwJTVDY2RvdHMlMkMlMjAlNUN0ZXh0YmYlN0J3JTdEXyU3Qm4lN0QlNUQlMjAlNUNiZWdpbiU3QmJtYXRyaXglN0QlMjAlNUNsYW1iZGElMjBfJTdCMSU3RCUyMCUyNiUyMCUyNiUyMCUyNiUyMCU1QyU1QyUyMCUyNiU1Q2xhbWJkYSUyMF8lN0IyJTdEJTIwJTI2JTIwJTI2JTIwJTVDJTVDJTIwJTI2JTIwJTI2JTVDZGRvdHMlMjAlMjYlMjAlNUMlNUMlMjAlMjYlMjAlMjYlMjAlMjYlMjAlNUNsYW1iZGElMjBfJTdCbiU3RCUyMCU1Q2VuZCU3QmJtYXRyaXglN0QlNUMlNUMlMjAlMjYlM0QlNUIlNUNsYW1iZGElMjBfJTdCMSU3RCU1Q3RleHRiZiU3QnclN0RfJTdCMSU3RCUyQyUyMCU1Q2xhbWJkYSUyMF8lN0IyJTdEJTVDdGV4dGJmJTdCdyU3RF8lN0IyJTdEJTJDJTIwJTVDY2RvdHMlMkMlMjAlNUNsYW1iZGElMjBfJTdCbiU3RCU1Q3RleHRiZiU3QnclN0RfJTdCbiU3RCU1RCU1QyU1QyUyMCUyNiUzRCU1Q3RleHRiZiU3QiU1QkMlNUQlN0RfJTdCeCU3RCU1QiU1Q3RleHRiZiU3QnclN0RfJTdCMSU3RCUyQyUyMCU1Q3RleHRiZiU3QnclN0RfJTdCMiU3RCUyQyUyMCU1Q2Nkb3RzJTJDJTIwJTVDdGV4dGJmJTdCdyU3RF8lN0JuJTdEJTVEJTIwJTVDZW5kJTdCYWxpZ24qJTdE.png)
所以
分别是![\textbf{[C]}_{x}](/image/aHR0cHM6Ly9wcml2YXRlLmNvZGVjb2dzLmNvbS9naWYubGF0ZXg_JTVDdGV4dGJmJTdCJTVCQyU1RCU3RF8lN0J4JTdE.png)
的特征值和特征向量，即
这样我们可以通过求的特征向量得到变换矩阵W
参考：https://blog.csdn.net/qq_41917064/article/details/103820786
所以可以通过求eigenvalue和eigenvector：I 是identic matrix
det( [C]x - λ I) = 0；
（[C]x - λ I）wi = 0