BN和Relu

• Batch normalization + ReLU

批歸一化（BN）可以抑制梯度爆炸/消失並加快訓練速度

原論文認為批歸一化的原理是：通過歸一化操作使網絡的每層特征的分布盡可能的穩定，從而減少Internal Covariate Shift

relu是目前應用最為廣泛的激活函數，

由於其梯度要么是1，要么是0，可以有效抑制梯度爆炸/消失

通過BN和ReLU，目前的網絡已經可以達到非常深

網絡越深，提取的特征往往越抽象，越具有語義信息。過渡抽象的特征可能並不適合相對簡單的任務。