4-1[求探討]
角度1：
角度2：
即：接近 0 的輸入在 sigmoid 型函數上的導數較大，梯度下降速度較快
4-2
異或問題：
異或（XOR）問題可以看做是單位正方形的四個角，響應的輸入模式為（0,0），（0,1），（1,1），（1,0）。第一個和第三個模式屬於類0
圖示為：
具體：
4-3
舉例說明：
解決方法有[書中86-88頁]：
使用帶泄露的ReLU
使用帶參數的ReLU
使用ELU函數
使用Softplus函數
4-4
4-5
若有𝐿層隱藏層，易得用於連接輸入至輸出的參數矩陣共有𝐿+1層。
對於全連接網絡，每一個隱藏層中的單個神經元都會與前一層的所有輸出產生連接，並且每一個神經元都帶有偏置,N+1個。
連接輸入層與第一個隱藏層的參數量為𝑀0 × 𝑁 ÷ 𝐿
隱藏層內部連接的參數量為(𝐿-1) × 𝑁2 ÷ 𝐿2
連接𝐿層隱藏層和輸出層的參數量為𝑁 ÷ 𝐿
偏置層參數量為N
參數量 M = 𝑀0 × 𝑁 ÷ 𝐿 + (𝐿-1) × 𝑁2 ÷ 𝐿2 + 𝑁 ÷ 𝐿 + N + 1
4-6[崩住了]
證明通用近似定理對於具有線性輸出層和至少一個使用 ReLU 激活函數的隱藏層組成的前饋神經網絡，也都是適用的．
4-7
4-8
因為如果參數都設為0，在第一遍前向計算的過程中所有的隱藏層神經元的激活值都相同。在反向傳播時，所有權重更新也都相同，這樣會導致隱藏層神經元沒有區分性。這種現象稱為對稱權重現象。
4-9
