機器學習中三個典型的非線性函數

1. sgn 函數

sgn(x)叫做x的符號函數。sgn是sign的縮寫。
它的定義是sgn(x)= 1 (x>0); 
                0 (x=0); 
               -1 (x<0).

2. sigmoid 函數

3.  ReLU 函數

y=max(x,0)

這種函數的設計啟發來自於生物神經元對於激勵的線性響應，以及當低於某個閾值后就不再響應的模擬。