第一步:下載pca_exercise.zip,里面包含有圖像數據144*10000,每一列代表一幅12*12的圖像塊,首先隨見展示200幅:

第二步:0均值處理,確保數據均值為0或者接近0
第三步:執行PCA,將原始數據映射到不同的特征向量方向上去
第四步:驗證上面PCA計算出來結果是否正確,若果正確的話,映射后的數據的協方差就是一個對角矩陣,將這個對角矩陣可視化以后,可以看到矩形圖中一條有顏色不同於背景色的對角線:

第五步:找出到底取前多少個主元合適,這里使用指標是需要保留至少99%方差值
第六步:降維,根據上一步確定的需要保留的主元數目,對數據降維


上面兩幅圖:左邊是PCA降維后的數據,右邊是原始數據,視覺上可以看出,除了亮度有點區別,其他地方差別很小。
第七步:加入正則化項
對數據進行PCA和白化處理后的數據的協方差矩陣的對角元素都等於1,但是加入正則化參數后,所有對角元素都小於1:


上面兩幅圖:左面是加入了正則化參數,右邊是沒有正則化
第八步:ZCA白化:


上面的兩幅圖:左邊是ZCA白化處理后的數據,右邊是原始數據,可以看出邊緣更加突出。
