證明XX'是半正定的對稱陣並求目標函數的最大值以及PCA實現步驟

證明

　　由上一篇可得到目標函數1/n × u₁^T XX^Tu_{1 ,}並且X = [x₁,x₂,......,x_n]，X^T =[x₁^T,x₂^T,......,x_n^T]^T ，由於（XX^T）^T =XX^T，所以XX^T是對稱陣

　　假設XX^T的某一個特征值為λ,對應的特征向量為ξ，則有：

XX^Tξ = λξ

(XX^Tξ )^T ξ= (λξ)^Tξ

ξ^TXX^Tξ = λξ^Tξ

ξ^TXX^Tξ = (X^Tξ)^T(X^Tξ） = ||X^Tξ||^T = λξ^Tξ = λ||ξ||²

||X^Tξ||² = λ||ξ||² ≥ 0

故λ ≥ 0

　　故 XX^T 是半正定的對稱陣。

對於半正定陣的二次型，存在最大值。接下來求目標函數的最大值以及取最大值時u₁的方向。

方法：拉格朗日乘子法

　　目標函數和約束條件組成最大化問題：max{u₁^T XX^Tu₁},s.t. u₁^Tu₁ =1

　　構造拉格朗日函數：f（u₁）= (u₁^T XX^Tu₁)+ λ( 1- u₁^Tu₁ )

　　對u₁求導：

∂f/∂u₁ = 2XX^Tu₁ -2λu₁ = 0

2XX^Tu₁   = 2λu₁

 　　所以，u₁即為 XX^T特征值λ對應的特征向量。將上式代入目標函數得：

u₁^T XX^Tu₁ = λ u₁^Tu₁  = λ

　　故取最大的特征值可得到目標值最大。求取二階導數確定極大值：

∂²f/∂u₁ = 2(XX^T -λI)

　　當λ取最大特征值時，XX^T -λI 為半負定陣。二階導數半負定，則目標函數在最大特征值所對應的特征向量上取得最大值。所以，第一主軸方向即為第一大特征值所對應的特征向量方向。第二主軸方向為第二大特征值所對應的特征向量方向。

 

PCA實現

步驟：對矩陣X_m×n ,  

　　1）進行歸一化，每一行減去對應平均值；

　　2）計算協方差矩陣C = 1/n × XX^T；

　　3)計算協方差矩陣C的特征值和特征向量；

　　4）將特征值從大到小排序；

　　5）保留最上面的N個特征向量；

　　6）將數據轉換到上述N個特征向量構建的新空間中。 

　　(假設若只選取最大特征值對應的特征向量P₁,降維后的數據Y = P₁^TX)