1. 零均值化 / 中心化:對輸入圖片進行預處理,計算訓練數據中所有圖片的每個位置的均值,然后每張圖片的元素減自己位置對應的均值。零均值化后的圖片以(0,0)為中心,所有圖片的對應位置的元素均值為0
PCA和白化:
2. 為什么要對數據零均值化?
為了在反向傳播中加快網絡中每一層權重參數的收斂(這是個坑^ 我還是不太理解)
假設圖中藍色箭頭方向理想最優w向量,當x全為正或者全為負時,每次返回的梯度都只會沿着一個方向發生變化,即梯度變化的方向就會向圖中紅色箭頭所示,一會向上太多,一會向下太多。這樣就會使得權重收斂效率很低。但當x正負數量“差不多”時,就能對梯度變化方向進行“修正”,使其接近上圖中藍色箭頭的方向,加速了權重的收斂。