7-1 明顯地，埃爾法和K成正比 7-2 7-3 7-4 7-5 7-6 7-7 從再參數化的角度來分析批量歸一化中縮放和平移的意義 在此公式中，r和b ...

4-1[求探討] 角度1： 角度2： 即：接近 0 的輸入在 sigmoid 型函數上的導數較大，梯度下降速度較快 4-2 異或問題： 異或（XOR）問題可以看做是單位正方形的四個角，響應的 ...

2-1 視角1： 一般平方損失函數的公式如下圖所示： h表示的是你的預測結果，y表示對應的標簽，J就可以理解為用二范數的方式將預測和標簽的差距表示出來， 模型學習的過程就是優化權重參數，使得J達到近似最小值。 理論上這個損失函數是很有效果的，但是在實踐中卻又些問題。 它這個h是激活函數激活后 ...

8-1 只考慮一層簡單的循環神經網絡， 設隱藏層神經元數量為D（即D維），輸入層的維數為M。 一個LSTM層（隱藏層）的參數總數為：4D*（D+M）+4D 8-2 8-3 8-4 按照內容尋址，阿西吧。 8-5 8-6 參見：Hopfield 神神經網絡動力學分析與應用 ...

5-1 5-2 5-3 主要作用： 降維和升維： 每個1×1的卷積核都試圖提取基於相同像素位置的特征的融合表達。可以實現特征升維和降維的目的。 比如，一張500 * 500且厚度 ...

9-1 一般認為，有用信息具有較大的方差，噪聲有較小的方差。 主成分分析，選擇方差最大的方向投影，並去掉多余的維度（特征），達到降噪的目的。 9-2 9-3 具有多重共線性的數據不適合使用 ...

卷積神經網絡(CNN)是一種具有局部連接、權重共享等特性的深層前饋神經網絡。 卷積神經網絡最早主要是用來處理圖像信息。在用全連接前饋網絡來處理圖像時，會存在以下兩個問題： （1）參數太多：隨着隱藏層神經元數量的增多，參數的規模也會急劇增加。這會導致整個神經網絡的訓練效率非常低，也很容易出現 ...

文章導讀： 卷積神經網絡 卷積神經網絡實踐 深度神經網絡在可以模擬更加復雜的情形，但是在上一章中，我們發現訓練深度神經網絡的時候會出現梯度消失的問題，從而導致模型訓練失敗。這一章，將會介紹可以被用在深度學習上的一些技術。 這章的主要內容是介紹一種應用最廣泛的深度神經網絡：卷積 ...