Q：为什么神经网络中从输入层到隐含层的权值必须互不相等？
如果权值初始化为相同的值，将会出现什么现象？
A：如图：
如果权值初始化是相等的（这句话的意思是hidden layer的每一列上的神经元参数都一致），那么在Back-Propagation的时候，每个神经元获得的update都是一致的，那么更新后的神经元的权重还是一致的，就导致了网络进入了对称状态，所谓对称就是相对于某层hidden layer来讲，其中的所有neural都是一模一样的，这样我们的网络就不能学到更多的特征了（假想我们的CNN的深层有512个hidden unit，如果这512个单元的值都是一样的，不是白学了么。）
Q：为什么要用残差连接呢？
A：因为残差连接打破了网络的对称性/对称状态，提升了网络的表征能力。
因为随着网络深度的增加，权重矩阵退化，网络退化。每个层中只有少量隐藏单元对不同的输入改变它们的激活值，而大部分的隐藏单元对不同的输入都是相同的反应。
虽然是一个很高维的矩阵，但是大部分维度却没有信息，表达能力没有看起来那么强大，表达能力低。
参考：https://www.zhihu.com/question/265398015/answer/296191469