PCA最小平方誤差理論推導

PCA求解其實是尋找最佳投影方向，即多個方向的標准正交基構成一個超平面。

理論思想：在高維空間中，我們實際上是要找到一個d維超平面，使得數據點到這個超平面的距離平方和最小

假設\(x_k\)表示p維空間的k個點，\(z_k\)表示\(x_k\)在超平面D上的投影向量，\(W = {w_1,w_2,...,w_d}\)為D維空間的標准正交基，即PCA最小平方誤差理論轉換為如下優化問題$$z_k = \sum_{i=1}^d (w_i^T x_k)w_i---(1)$$

\[argmin \sum_{i=1}^k||x_k - z_k||_2^2 \]

\[s.t. w_i^Tw_j = p(當i==j時p=1,否則p=0) \]

注：\(w_i^Tx_k\)為x_k在w_i基向量的投影長度，\(w_i^Tx_kw_i\)為w_i基向量的坐標值

求解：

\(L = (x_k - z_k)^T(x_k-z_k)\)

\(L= x_k^Tx_k - x_k^Tz_k - z_k^Tx_k + z_k^Tz_k\)

由於向量內積性質\(x_k^Tz_k = z_k^Tx_k\)

\(L = x_k^Tx_k - 2x_k^Tz_k + z_k^Tz_k\)

將(1)帶入得$$x_k^Tz_k = \sum_{i=1}^dw_i^Tx_kx_k^Tw_i$$

\[z_k^Tz_k = \sum_{i=1}^d\sum_{j=1}^d(w_i^Tx_kw_i)^T(w_j^Tx_kw_j) \]

根據約束條件s.t.得$$z_k^Tz_k = \sum_{i=1}^dw_i^Tx_k^Tx_kw_i$$

\[L =x_k^Tx_k - \sum_{i=1}^dw_i^Tx_kx_k^Tw_i \]

根據奇異值分解$$\sum_{i=1}^dw_i^Tx_kx_k^Tw_i = tr(W^Tx_k^Tx_kW)$$

\[L =argmin\sum_{i=1}^kx_k^Tx_k - tr(W^Tx_k^Tx_kW) = argmin\sum_{i=1}^k- tr(W^Tx_k^Tx_kW) + C \]

等價於帶約束得優化問題：$$argmaxtr(W^TXX^TW)$$

\[s.t. W^TW = I \]

最佳超平面W與最大方差法求解的最佳投影方向一致，即協方差矩陣的最大特征值所對應的特征向量，差別僅是協方差矩陣\(\xi\)的一個倍數

定理

\[argmin\phi(W,Z|X) = tr((X-W^TZ)^T(X-W^TZ)) = ||X-W^TZ||_F^2 \]

\[s.t.W^TW=I_q \]

注：X為(n,p),Z為(n,q),q < p,w為(p,q)

該定理表達的意思也就是平方差理論，將降維后的矩陣通過W^T投影回去，再與X計算最小平方差，值越小說明信息損失越少

\(\phi\)目標函數最小時，W為X的前q個特征向量矩陣且\(Z=W^TX\)

以上優化可以通過拉格朗日對偶問題求得，最終也會得到$$argmaxtr(W^TXX^TW)$$

\[s.t. W^TW = I \]