在深度學習中，前向傳播與反向傳播是很重要的概念，因此我們需要對前向傳播與反向傳播有更加深刻的理解，假設這里有一個三層的神經網絡
在這里，上面一排表示的是前向傳播，后面一排表示的是反向傳播，在前向傳播的情況每一層將通過一層激活函數去線性化，並且在前向傳播的過程中會緩存z[l],最終輸出y'計算出損失函數的導數作為反向傳播的輸出，
超參數的理解
在上述神經網絡中，參數為W[1],b[1],W[2],b[2],W[3],b[3]等，對於影響這些參數的參數我們稱為超參數，那么我們逐步進行梳理
學習率learning rate α
迭代次數 iterations
隱藏層數hidden layers L
隱藏單元hidden units n[1],n[2],.....
以上這些東西都是可以影響W和b的，因此我們將其稱為超參數hyper parameters