矩陣白化目的
如對於任意一個矩陣\(X\),對其求協方差,得到的協方差矩陣\(cov(X)\)並不一定是一個單位陣(對角陣);【注意:協方差矩陣是對稱矩陣,但不一定是對角陣】而矩陣白化就是找到一個變換矩陣\(P\),使得\(Y=PX\)的協方差矩陣\(cov(Y)\)是一個單位陣(對角陣)。因為通過矩陣白化后,協方差是個對角陣(單位陣),那么就代表着矩陣Y的各個向量(向量是列向量還是行向量要根據求協方差時\(cov(X)=XX^T還是X^TX來判斷\))之間就不相關了。或者說,矩陣白化的目的就是讓被變換的矩陣經過變換后其向量的方差相同(因為是單位陣)那么該怎么找到這個變換矩陣\(P\)呢?
矩陣白化推導
對於矩陣\(X\),其協方差矩陣\(cov(X)=XX^T\)並不一定為對角矩陣,但是對於實對稱的協方差矩陣可以有如下的特征值分解:詳見【特征值分解】
\[cov(X)=Q\Lambda Q^{T} \]
其中的\(\Lambda\)為由特征值組成的對角矩陣,\(Q\)為對應的特征向量,是一個正交矩陣。現在我們要找到線性變換矩陣P,使得\(Y=PX\)的協方差矩陣可以是單位陣,即
\[cov(Y)=YY^T=PX(PX)^T=PXX^TP^T=Pcov(X)P^T=E(單位陣) \]
現在令\(P=\Lambda^{-1/2} Q^T(矩陣開根號就是其中的每個元素開根號)\),那么有
\[\begin{aligned} cov(Y)&=Pcov(x)P^T\\ &=\Lambda^{-1/2} Q^TQ\Lambda Q^{T}(\Lambda^{-1/2}Q^T)^T \\ &=\Lambda^{-1/2} Q^TQ\Lambda Q^{T}Q\Lambda^{-1/2}\\ (因為Q是正交矩陣,即QQ^T=E) &=\Lambda^{-1/2}\Lambda \Lambda^{-1/2}\\ &=E \end{aligned} \]
所以說當\(P=\Lambda^{-1/2} Q^T\)時,可以使得\(Y=PX\)的協方差矩陣為單位陣(對角陣)。
因此 ,通過矩陣白化后,矩陣Y的各個向量(列向量還是行向量根據上文確定)之間就不相關了.