歸一化(Normalization)是為了消除不同數據之間的量綱,方便數據比較和共同處理,比如在神經網絡中,歸一化可以加快訓練網絡的收斂性;
1. 把數據變為(0,1)之間的小數,主要是為了方便數據處理,因為將數據映射到0~1范圍之內,可以使處理過程更加便捷、快速。
2. 把有量綱表達式變換為無量綱表達式,成為純量。經過歸一化處理的數據,處於同一數量級,可以消除指標之間量綱和量綱單位的影響,提高不同數據指標之間的可比性。
3. 主要算法:線性轉換,即min-max歸一化(常用方法)
y=(x-min)/(max-min)
標准化(Standarlization)是為了方便數據的下一步處理,而進行的數據縮放等變換,並不是為了方便與其他數據一同處理或比較,比如數據經過0-1均值標准化后,更利於使用標准正態分布的性質進行處理;
正則化(Regularization)是利用先驗知識,在處理過程中引入正則化因子(regulator),增加引導約束的作用,比如在邏輯回歸中使用正則化,可以有效降低過擬合的現象。
