一點關於深度神經網絡和非線性之間的關系的問答。
原文地址：https://blog.csdn.net/JNingWei/article/details/78866718
定義：
對“乘”、“加”運算 閉合。
作用：
-
非線性很難形式化，但卻是深度學習的 核心競爭力 。
-
正是由於網絡中強大的非線性因素，我們得以 深度地抽象出 特征。
-
非線性函數主要存在於 激活函數、bn、pooling層 ，用來 增加模型容錯能力（即 防止過擬合）。
Note:
- 假若網絡中全部是線性部件，那么線性的組合 其實還是線性，與單獨一個線性分類器無異。這樣就根本做不到用非線性來逼近任意函數。
我們在深度學習中討論的線性和非線性到底是什么？
原文地址：https://www.zhihu.com/question/300804166/answer/522866960
這里說的線性和非線性其實就是線性代數里面的一樣的，如前面知友說的就是f(x+y) = f(x) + f(y)而已，那么具體到你的問題為什么relu和maxpool可以產生非線性？
例如有input,有一個1x1 convolution layer f，然后maxpool(relu(input x f))中
input x f這個是convolute，是線性的，relu和maxpool結合着用可以實現非線性的效果，所以沒有后面兩種運算你有更多的convolution layer也是徒勞
作者：Dr.Shiki
鏈接：https://www.zhihu.com/question/300804166/answer/522866960
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。
線性到底是什么意思？
原文地址：https://www.zhihu.com/question/20084968
既然現實世界是非線性的，那么線性方程和線性規划能解決的問題豈非太少？
原文地址：https://www.zhihu.com/question/20599323