歸一化與標准化區別

歸一化與標准化區別

歸一化

常用的方法是通過對原始數據進行線性變換把數據映射到[0,1]之間，變換函數為：

不同變量往往量綱不同，歸一化可以消除量綱對最終結果的影響，使不同變量具有可比性。在不涉及距離度量、協方差計算、數據不符合正太分布的時候，可以使用歸一化方法。比如圖像處理中，將RGB圖像轉換為灰度圖像后將其值限定在[0 255]的范圍。

（ transfroms.Normalize）

標准化

常用的方法是z-score標准化，經過處理后的數據均值為0，標准差為1，公式是：

（BatchNorm2d）

如果對輸出結果范圍有要求，用歸一化
如果數據較為穩定，不存在極端的最大最小值，用歸一化
如果數據存在異常值和較多噪音，用標准化，可以間接通過中心化避免異常值和極端值的影響

我們在對輸⼊數據做標准化處理：處理后的任意⼀個特征在數據集中所有樣本上的均值為0、標准差為1。標准化處理輸⼊數據使各個特征的分布相近：這往往更容易訓練出有效的模型。
通常來說，數據標准化預處理對於淺層模型就⾜夠有效了。隨着模型訓練的進⾏，當每層中參數更新時，靠近輸出層的輸出較難出現劇烈變化。但對深層神經⽹絡來說，即使輸⼊數據已做標准化，訓練中模型參數的更新依然很容易造成靠近輸出層輸出的劇烈變化。這種計算數值的不穩定性通常令我們難以訓練出有效的深度模型。
批量歸⼀化的提出正是為了應對深度模型訓練的挑戰。在模型訓練時，批量歸⼀化利⽤⼩批量上的均值和標准差，不斷調整神經⽹絡中間輸出，從⽽使整個神經⽹絡在各層的中間輸出的數值更穩定。