動手學深度學習三---多層感知機MLP

1、隱藏層

多層感知機在單層神經網絡中引入了一到多個隱藏層，隱藏層位於輸入層和輸出層之間

輸入層特征數為4個，輸出層標簽類別為3，隱藏單元5個，輸入層不涉及計算，多層感知機層數為2

隱藏層中神經元和輸入層中各個輸入完全連接，輸出層神經元與隱藏層神經元完全連接，因此全連接層有兩個：輸出層和隱藏層

假設隱藏層權重和偏差分別為w_h、b_h，輸出層權重和偏差分別為w_o、b_o，輸出o的計算為

H = XW_h + b_h，

O =HW_o + b_o

即，O = (XW_h + b_h)W_o + b_o=XW_hW_o+b_hW_o+ b_o

此時，仍等價於單層神經網絡，輸出層權重為W_hW_o，偏差為b_hW_o+ b_o

問題：模型仍為線性模型，如何解決非線性問題？

解決方式：引入非線性變換---激活函數，解決非線性問題

2、激活函數

（1）ReLU函數

給定元素x，ReLU(x)=max(x,0)

（2）sigmod函數

 將元素的值變換到0和1之間，在早期的神經網絡中使用較為普遍，現在更常用的是ReLU

（3）tanh函數

tanh雙曲正切函數可以將元素的值變換到-1和1之間

3、多層感知機

多層感知機就是含有至少一個隱藏層的由全連接層（隱藏層）組成的神經網絡，其中每一個隱藏層的輸出都會通過激活函數進行變換

多層感知機的層數和隱藏層的層數都是超參數，可以自己設定

表示激活函數