通用近似定理

在神經網絡學習中,個人認為有兩塊十分重要的理論知識對理解神經網絡的工作由重要的意義,一個是許志欽老師講解的F-principle,闡述了為什么神經網絡不會過擬合,另外一個就是通用近似定理,解釋了為什么神經網絡不需要知道問題的目標函數就可以擬合

B站視頻講解
www.bilibili.com/video/BV1Hh411Q7p4

1.定理介紹

根據通用近似定理，對於具有線性輸出層和至少一個使用“擠壓”性質的激活函數的隱藏層組成的前饋神經網絡，只要其隱藏層神經元的數量足夠，它可以以任意的精度來近似任何從一個定義在實數空間中的有界閉集函數。
所以"擠壓"性質的函數是指像sigmoid函數的有界函數,ReLU也使用

2.原文證明

http://neuralnetworksanddeeplearning.com/chap4.html#:~:text=A visual proof that neural nets can compute,function has many inputs%2C %2C and many outputs.

3.簡單說明

1.從圖上可知一個簡單的線性函數\(w^Tx+b\)經過logistic激活函數可以變成如下樣子

2.當我們把參數取的極端一點,就可以變成一個近似垂直效果的階躍函數

3.參數b決定了階躍的位置,w若是正數,函數值從0到1遞增,若是負數,則函數值從1到0遞減

4.令\(s=\frac{-b}{w},若有兩個w都為正數的神經元,就可以表示為兩個階躍函數的組合\)

5.若一個w為正,一個為負,變組成了一個脈沖函數

6.依次類推,只要有足夠多的神經元,就可以無限逼近,擬合各種類型的函數曲線