Batch Normalization 與Dropout 的沖突

 

　　BN或Dropout單獨使用能加速訓練速度並且避免過擬合

　　但是倘若一起使用，會產生負面效果。

　　BN在某些情況下會削弱Dropout的效果

　　

　　對此，BN與Dropout最好不要一起用，若一定要一起用，有2中方法：

　　　　1 在所有BN層后使用Dropout

　　　　2 修改Dropout公式（如使用高斯Dropout）使得它對方差不是那么敏感

　　　　總體思路是降低方差偏移

 

reference

　　https://zhuanlan.zhihu.com/p/33101420