这篇文章介绍深度学习四种主流的规范化, 分别是Batch Normalization(BN[9]), Layer Normalization(LN[7]), Instance Normalizatio ...

动机： 防止隐层分布多次改变，BN让每个隐层节点的激活输入分布缩小到-1和1之间. 好处： 缩小输入空间，从而降低调参难度；防止梯度爆炸/消失，从而加速网络收敛. BN计算公式： ...

BatchNorm, 批规范化，主要用于解决协方差偏移问题，主要分三部分： 计算batch均值和方差 规范化 仿射affine 算法内容如下： 需要说明几点： 均值 ...