1. 参数初始化的目的是什么？ 为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关。那么参数初始 ...

...

1.mini-batch梯度下降 在前面学习向量化时，知道了可以将训练样本横向堆叠，形成一个输入矩阵和对应的输出矩阵： 当数据量不是太大时，这样做当然会充分利用向量化的优点，一次训练中就可以将所有 ...

1. Andrew Ng 的个人经验和偏好是： 第一梯队： learning rate α 第二梯队： hidden units mini-batch size ...