在訓練神經網絡前,往往要對原始圖像數據進行預處理,中心化(Zero-centered及Mean-subtraction)和歸一化(Normalization)。那么具體是什么意思呢?
1、零均值化/中心化
在訓練神經網絡前,預處理訓練集數據,通常是先進行零均值化(zero-mean),即讓所有訓練圖像中每個位置的像素均值為0,使得像素范圍變成 [-128, 127],以0為中心。
零均值化:是指變量減去它的均值;
優點:在反向傳播時加快網絡中每層權重參數的收斂;還可以增加基向量的正交性。
2、歸一化/標准化
不同的評價指標往往具有不同的量綱和量綱單位,這樣無法對結果進行分析,難以對結果進行衡量,為了消除指標之間的量綱影響,需要對數據進行標准化處理,以使數據指標之間存在可比性。
歸一化:是指變量減去它的均值,再除以標准差;
優點:歸一化后加快了梯度下降求最優解的速度;並且有可能提高精度。