BN和正則化一起使用的后果

就是因為 batch norm 過后， weight 影響沒那么重了，所以 l2 weight decay 的效果就不明顯了。

證明了L2正則化與歸一化相結合時沒有正則化效應。相反，正則化會影響權重的范圍，從而影響有效學習率。