卷積神經網絡(CNN)是一種具有局部連接、權重共享等特性的深層前饋神經網絡。 卷積神經網絡最早主要是用來處理圖像信息。在用全連接前饋網絡來處理圖像時，會存在以下兩個問題： （1）參數太多：隨着隱藏層神經元數量的增多，參數的規模也會急劇增加。這會導致整個神經網絡的訓練效率非常低，也很容易出現 ...

7-1 明顯地，埃爾法和K成正比 7-2 7-3 7-4 7-5 7-6 7-7 從再參數化的角度來分析批量歸一化中縮放和平移的意義 在此公式中，r和b ...

上。 卷積神經網絡沒有時序性的概念，輸入直接和輸出掛鈎；循環神經網絡具有時序性，當前決策跟前一次決策有關。 ...

4-1[求探討] 角度1： 角度2： 即：接近 0 的輸入在 sigmoid 型函數上的導數較大，梯度下降速度較快 4-2 異或問題： 異或（XOR）問題可以看做是單位正方形的四個角，響應的 ...

2-1 視角1： 一般平方損失函數的公式如下圖所示： h表示的是你的預測結果，y表示對應的標簽，J就可以理解為用二范數的方式將預測和標簽的差距表示出來， 模型學習的過程就是優化權重參數，使得J達到近似最小值。 理論上這個損失函數是很有效果的，但是在實踐中卻又些問題。 它這個h是激活函數激活后 ...

8-1 只考慮一層簡單的循環神經網絡， 設隱藏層神經元數量為D（即D維），輸入層的維數為M。 一個LSTM層（隱藏層）的參數總數為：4D*（D+M）+4D 8-2 8-3 8-4 按照內容尋址，阿西吧。 8-5 8-6 參見：Hopfield 神神經網絡動力學分析與應用 ...

5-1 5-2 5-3 主要作用： 降維和升維： 每個1×1的卷積核都試圖提取基於相同像素位置的特征的融合表達。可以實現特征升維和降維的目的。 比如，一張500 * 500且厚度 ...

9-1 一般認為，有用信息具有較大的方差，噪聲有較小的方差。 主成分分析，選擇方差最大的方向投影，並去掉多余的維度（特征），達到降噪的目的。 9-2 9-3 具有多重共線性的數據不適合使用 ...