機器學習中的線性和非線性判斷

說到線性和非線性，你的直觀理解是不是這樣：

但這種直觀理解其實不能回答下面這個問題： 
那么為什么卷積操作是線性的，而ReLU是非線性的？

很多人對線性的定義不是很清楚。 
實際上，線性的定義是： 
F(ax+y) = aF(x) + F(y)， 
其中x、y為變量而a為常數。

卷積操作滿足上面的式子，所以是線性操作。

下面可以快速判斷是為非線性的三種常見情況：

• (變量)^n，且n不為1
• |變量| 有變量在絕對值內的為非線性
• sgn(變量) 有變量在符號函數之內

而ReLU如下所示：

所以，很明顯ReLU是非線性的。