神經網絡W、X與b的維度確定


1.單個神經元

  單個神經元的輸入由前一層各個神經元的輸出x1、x2、x3經過權重w1、w2、w3后得到的結果,我們知道,對於一個神經元來說,這其中的W、X、b均是[n*1]維列向量,也即, ,如果再有更多的輸入,就在往后加,這沒啥難理解的。

2.一層網絡

  神經網絡中,有輸入層,隱藏層,輸出層,以下圖為例來說明,輸入層我們記為X[0],隱藏層有兩層,包含W[1]、X[1]、b[1]、Z[1]以及W[2]、X[2]、b[2]、Z[2],輸出層W[3]、X[3]、b[3]、Z[3]

  我們來寫一下隱藏層的第一層的計算過程,2--->4,2個神經元到4個神經元的過程,我們能確定第二層的W是一個4行2列的矩陣,X是2行1列的矩陣,b是4行1列矩陣,Z也是4行1列的矩陣,在寫的時候,可以使用這個小技巧,寫W的時候,豎着寫,w11代表前一層的第1個神經元到本層的第1個神經元的權重,w12代表前一層的第1個神經元到本層的第2個神經元,wij代表前一層的第i個神經元到本層的第j個神經元,寫X的時候也豎着寫,有幾個寫幾個,所以X必然是列數為1 的矩陣,b和Z類似。

  簡單總結一下,這幾個變量的維度是:

  W:行數是當前神經元的個數,列數是前一層的神經元的個數(或者輸入層特征個數)

  Z和b:行數是當前神經元的個數,列數是1

  X:行數是前一層神經元的個數,列數是1

 

 

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM