Q：為什么神經網絡中從輸入層到隱含層的權值必須互不相等？
如果權值初始化為相同的值，將會出現什么現象？
A：如圖：
如果權值初始化是相等的（這句話的意思是hidden layer的每一列上的神經元參數都一致），那么在Back-Propagation的時候，每個神經元獲得的update都是一致的，那么更新后的神經元的權重還是一致的，就導致了網絡進入了對稱狀態，所謂對稱就是相對於某層hidden layer來講，其中的所有neural都是一模一樣的，這樣我們的網絡就不能學到更多的特征了（假想我們的CNN的深層有512個hidden unit，如果這512個單元的值都是一樣的，不是白學了么。）
Q：為什么要用殘差連接呢？
A：因為殘差連接打破了網絡的對稱性/對稱狀態，提升了網絡的表征能力。
因為隨着網絡深度的增加，權重矩陣退化，網絡退化。每個層中只有少量隱藏單元對不同的輸入改變它們的激活值，而大部分的隱藏單元對不同的輸入都是相同的反應。
雖然是一個很高維的矩陣，但是大部分維度卻沒有信息，表達能力沒有看起來那么強大，表達能力低。
參考：https://www.zhihu.com/question/265398015/answer/296191469