6-1 三者都是典型的神經網絡模型。 卷積神經網絡是對前饋神經網絡增加卷積層和池化層。 延時神經網絡是對前饋神經網絡增加延時器。 循環神經網絡是對前饋神經網絡增加自反饋的神經元。 延時神經網絡和循環神經網絡是給網絡增加短期記憶能力的兩種重要方法。 卷積神經網絡和循環神經網絡的區別在循環層 ...

4-1[求探討] 角度1： 角度2： 即：接近 0 的輸入在 sigmoid 型函數上的導數較大，梯度下降速度較快 4-2 異或問題： 異或（XOR）問題可以看做是單位正方形的四個角，響應的 ...

2-1 視角1： 一般平方損失函數的公式如下圖所示： h表示的是你的預測結果，y表示對應的標簽，J就可以理解為用二范數的方式將預測和標簽的差距表示出來， 模型學習的過程就是優化權重參數，使得J達到近似最小值。 理論上這個損失函數是很有效果的，但是在實踐中卻又些問題。 它這個h是激活函數激活后 ...

8-1 只考慮一層簡單的循環神經網絡， 設隱藏層神經元數量為D（即D維），輸入層的維數為M。 一個LSTM層（隱藏層）的參數總數為：4D*（D+M）+4D 8-2 8-3 8-4 按照內容尋址，阿西吧。 8-5 8-6 參見：Hopfield 神神經網絡動力學分析與應用 ...

5-1 5-2 5-3 主要作用： 降維和升維： 每個1×1的卷積核都試圖提取基於相同像素位置的特征的融合表達。可以實現特征升維和降維的目的。 比如，一張500 * 500且厚度 ...

9-1 一般認為，有用信息具有較大的方差，噪聲有較小的方差。 主成分分析，選擇方差最大的方向投影，並去掉多余的維度（特征），達到降噪的目的。 9-2 9-3 具有多重共線性的數據不適合使用 ...

卷積神經網絡(CNN)是一種具有局部連接、權重共享等特性的深層前饋神經網絡。 卷積神經網絡最早主要是用來處理圖像信息。在用全連接前饋網絡來處理圖像時，會存在以下兩個問題： （1）參數太多：隨着隱藏層神經元數量的增多，參數的規模也會急劇增加。這會導致整個神經網絡的訓練效率非常低，也很容易出現 ...

注解： 1.隨機變量和隨機事件不等價，一個隨機事件可以定義很多隨機變量。 2.隨機變量是定義在一個隨機事件里面的變量，可以有很多種定義方法，比如可以定義出現某 ...