Rectifier（neural networks）
在人工神經網絡中，rectfier（整流器，校正器）是一個激活函數，它的定義是：參數中為正的部分。
,
其中，x是神經元的輸入。這也被稱為ramp function（斜坡函數），類似於電氣工程中半波整流。
由來：
2000年由Hahnloser et al等人首次將該激活函數引入動態網絡中，具有強烈的生物學動機和數學理論。
此激活函數在 convolutional networks中被廣泛應用，比logistic sigmoid更有效和實用。
rectfier是2017年深度神經網絡中最流行的激活函數。
ReLU:
采用rectifier的單元被稱為rectfier linear unit（ReLU）
rectifier的平滑近似是analytic function：
被稱為softplus function。它的偏導數是
即邏輯函數
Rectified linear units在computer vision，speech recognition 等深度神經網絡中有廣泛應用。
Plot of the rectifier (blue) and softplus (green) functions near x = 0
Variants：
Noisy ReLUs
Rectfier linear units可以被擴展成包含Gaussian noise，
, with 
Noisy ReLUs成功應用在一些計算機視覺任務上。
Leaky ReLUs
Leaky ReLUs allow a small, non-zero gradient when the unit is not active.
Parametric ReLUs將coefficient of leakage（泄露系數）轉化為與其它神經網絡參數一起學習的參數
注意，如果a<=1，那么它等價於
就與maxout networks有關
ELUs：
Exponential linear units try to make the mean activations closer to zero which speeds up learning. It has been shown that ELUs can obtain higher classification accuracy than ReLUs
a是需要調的參數，且a>=0
Advantages
請參考
https://en.wikipedia.org/wiki/Rectifier_(neural_networks)
Potential problems
請參考
https://en.wikipedia.org/wiki/Rectifier_(neural_networks)