1 参数初始化 神经网络的参数学习是一个非凸优化问题，在使用梯度下降法进行网络参数优化时，参数初始值的选取十分关键，关系到网络的优化效率（梯度消失和梯度爆炸问题）和泛化能力（局部最优解问题）。参数初 ...

批量归一化 批量归一化（batch normalization）层，它能让较深的神经网络的训练变得更加容易。对图像处理的输入数据做了标准化处理：处理后的任意一个特征在数据集中所有样本上的均值为0、标 ...

动机： 防止隐层分布多次改变，BN让每个隐层节点的激活输入分布缩小到-1和1之间. 好处： 缩小输入空间，从而降低调参难度；防止梯度爆炸/消失，从而加速网络收敛. BN计算公式： ...