1.單個神經元
單個神經元的輸入由前一層各個神經元的輸出x1、x2、x3經過權重w1、w2、w3后得到的結果,我們知道,對於一個神經元來說,這其中的W、X、b均是[n*1]維列向量,也即
,
,如果再有更多的輸入,就在往后加,這沒啥難理解的。
2.一層網絡
神經網絡中,有輸入層,隱藏層,輸出層,以下圖為例來說明,輸入層我們記為X[0],隱藏層有兩層,包含W[1]、X[1]、b[1]、Z[1]以及W[2]、X[2]、b[2]、Z[2],輸出層W[3]、X[3]、b[3]、Z[3]
我們來寫一下隱藏層的第一層的計算過程,2--->4,2個神經元到4個神經元的過程,我們能確定第二層的W是一個4行2列的矩陣,X是2行1列的矩陣,b是4行1列矩陣,Z也是4行1列的矩陣,在寫的時候,可以使用這個小技巧,寫W的時候,豎着寫,w11代表前一層的第1個神經元到本層的第1個神經元的權重,w12代表前一層的第1個神經元到本層的第2個神經元,wij代表前一層的第i個神經元到本層的第j個神經元,寫X的時候也豎着寫,有幾個寫幾個,所以X必然是列數為1 的矩陣,b和Z類似。
簡單總結一下,這幾個變量的維度是:
W:行數是當前神經元的個數,列數是前一層的神經元的個數(或者輸入層特征個數)
Z和b:行數是當前神經元的個數,列數是1
X:行數是前一層神經元的個數,列數是1