1.通用近似定理
在人工神經網絡領域的數學觀點中，「通用近似定理 (Universal approximation theorem，一譯萬能逼近定理)」指的是：如果一個前饋神經網絡具有線性輸出層和至少一層隱藏層，只要給予網絡足夠數量的神經元，便可以實現以足夠高精度來逼近任意一個在 ℝn 的緊子集 (Compact subset) 上的連續函數。
這一定理表明，只要給予了適當的參數，我們便可以通過簡單的神經網絡架構去擬合一些現實中非常有趣、復雜的函數。這一擬合能力也是神經網絡架構能夠完成現實世界中復雜任務的原因。盡管如此，此定理並沒有涉及到這些參數的算法可學性 (Algorithmic learnablity)。
推薦閱讀：