covariance 指兩個變量的相關性：cov(x, y) =E(x y) - E(x) E(y)
cov(x, y) < 0 負相關
cov(x, y) = 0 無關
cov(x, y) > 0 正相關
covariance matrix : Ki,j = cov(xi, xj)
以下例子中，x為輸入，y為輸出
K-L變換被廣泛應用在圖像壓縮領域中，是一個線性變換(W是正交矩陣)
K-L變換的目標：通過KLT去除原數據之間的相關性，即解相關(decorrelatation)，設y的協方差矩陣為
假設x的每個列向量均值為0，由線性變換的性質，y的每個列向量均值也為0，則
因為W是正交矩陣，上式可寫為
設
為W的列向量，則
![\begin{align*} \textbf{[W][C]}_{y}&=[\textbf{w}_{1}, \textbf{w}_{2}, \cdots, \textbf{w}_{n}] \begin{bmatrix} \lambda _{1} & & & \\ &\lambda _{2} & & \\ & &\ddots & \\ & & & \lambda _{n} \end{bmatrix}\\ &=[\lambda _{1}\textbf{w}_{1}, \lambda _{2}\textbf{w}_{2}, \cdots, \lambda _{n}\textbf{w}_{n}]\\ &=\textbf{[C]}_{x}[\textbf{w}_{1}, \textbf{w}_{2}, \cdots, \textbf{w}_{n}] \end{align*}](/image/aHR0cHM6Ly9wcml2YXRlLmNvZGVjb2dzLmNvbS9naWYubGF0ZXg_JTVDYmVnaW4lN0JhbGlnbiolN0QlMjAlNUN0ZXh0YmYlN0IlNUJXJTVEJTVCQyU1RCU3RF8lN0J5JTdEJTI2JTNEJTVCJTVDdGV4dGJmJTdCdyU3RF8lN0IxJTdEJTJDJTIwJTVDdGV4dGJmJTdCdyU3RF8lN0IyJTdEJTJDJTIwJTVDY2RvdHMlMkMlMjAlNUN0ZXh0YmYlN0J3JTdEXyU3Qm4lN0QlNUQlMjAlNUNiZWdpbiU3QmJtYXRyaXglN0QlMjAlNUNsYW1iZGElMjBfJTdCMSU3RCUyMCUyNiUyMCUyNiUyMCUyNiUyMCU1QyU1QyUyMCUyNiU1Q2xhbWJkYSUyMF8lN0IyJTdEJTIwJTI2JTIwJTI2JTIwJTVDJTVDJTIwJTI2JTIwJTI2JTVDZGRvdHMlMjAlMjYlMjAlNUMlNUMlMjAlMjYlMjAlMjYlMjAlMjYlMjAlNUNsYW1iZGElMjBfJTdCbiU3RCUyMCU1Q2VuZCU3QmJtYXRyaXglN0QlNUMlNUMlMjAlMjYlM0QlNUIlNUNsYW1iZGElMjBfJTdCMSU3RCU1Q3RleHRiZiU3QnclN0RfJTdCMSU3RCUyQyUyMCU1Q2xhbWJkYSUyMF8lN0IyJTdEJTVDdGV4dGJmJTdCdyU3RF8lN0IyJTdEJTJDJTIwJTVDY2RvdHMlMkMlMjAlNUNsYW1iZGElMjBfJTdCbiU3RCU1Q3RleHRiZiU3QnclN0RfJTdCbiU3RCU1RCU1QyU1QyUyMCUyNiUzRCU1Q3RleHRiZiU3QiU1QkMlNUQlN0RfJTdCeCU3RCU1QiU1Q3RleHRiZiU3QnclN0RfJTdCMSU3RCUyQyUyMCU1Q3RleHRiZiU3QnclN0RfJTdCMiU3RCUyQyUyMCU1Q2Nkb3RzJTJDJTIwJTVDdGV4dGJmJTdCdyU3RF8lN0JuJTdEJTVEJTIwJTVDZW5kJTdCYWxpZ24qJTdE.png)
所以
分別是![\textbf{[C]}_{x}](/image/aHR0cHM6Ly9wcml2YXRlLmNvZGVjb2dzLmNvbS9naWYubGF0ZXg_JTVDdGV4dGJmJTdCJTVCQyU1RCU3RF8lN0J4JTdE.png)
的特征值和特征向量，即
這樣我們可以通過求的特征向量得到變換矩陣W
參考：https://blog.csdn.net/qq_41917064/article/details/103820786
所以可以通過求eigenvalue和eigenvector：I 是identic matrix
det( [C]x - λ I) = 0；
（[C]x - λ I）wi = 0