Zero-Centered:零均值化


1. 零均值化 / 中心化:對輸入圖片進行預處理,計算訓練數據中所有圖片的每個位置的均值,然后每張圖片的元素減自己位置對應的均值。零均值化后的圖片以(0,0)為中心,所有圖片的對應位置的元素均值為0

 

 

 

PCA和白化:

 

 

2. 為什么要對數據零均值化?

為了在反向傳播中加快網絡中每一層權重參數的收斂(這是個坑^ 我還是不太理解)

 

假設圖中藍色箭頭方向理想最優w向量,當x全為正或者全為負時,每次返回的梯度都只會沿着一個方向發生變化,即梯度變化的方向就會向圖中紅色箭頭所示,一會向上太多,一會向下太多。這樣就會使得權重收斂效率很低。但當x正負數量“差不多”時,就能對梯度變化方向進行“修正”,使其接近上圖中藍色箭頭的方向,加速了權重的收斂。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM