多層感知機在單層神經.絡的基礎上引入了一到多個隱藏層。**輸入層 \(\rightarrow\) 隱藏層 \(\rightarrow\) 輸出層 **
若三層或多層之間都為線性關系，則依然類似於單層神經網絡。（上述問題的根源在於全連接層只是對數據做仿射變換（affine transformation）而多個仿射變換
的疊加仍然是一個仿射變換。解決問題的一個方法是引入非線性變換） 這個非線性函數被稱為激活函數(activation function)
激活函數
ReLU函數
\(\operatorname{ReLU}(x)=\max (x, 0)\)
當輸⼊為負數時，ReLU函數的導數為0；當輸⼊為正數時，ReLU函數的導數為1。
sigmoid函數
\(\operatorname{sigmoid}(x)=\frac{1}{1+\exp (-x)}\)
導數為： \(\operatorname{sigmoid}^{\prime}(x)=\operatorname{sigmoid}(x)(1-\operatorname{sigmoid}(x))\)
tanh函數
\(\tanh (x)=\frac{1-\exp (-2 x)}{1+\exp (-2 x)}\)
\(\tanh ^{\prime}(x)=1-\tanh ^{2}(x)\)
多層感知機
多層感知機就是含有⾄少⼀個隱藏層的由全連接層組成的神經⽹絡，且每個隱藏層的輸出通過激活函數進⾏變換。多層感知機的層數和各隱藏層中隱藏單元個數都是超參數。
\(\boldsymbol{H}=\phi\left(\boldsymbol{X} \boldsymbol{W}_{h}+\boldsymbol{b}_{h}\right)\)
\(\boldsymbol{O}=\boldsymbol{H} \boldsymbol{W}_{o}+\boldsymbol{b}_{o}\)
其中，\(\phi\)表示激活函數。