3-6 激活函數的導數

激活函數的導數（ Derivatives of activation functions）

Sigmoid函數

導數為：

tanh函數

導數為：

Relu函數

在z=0時，通常給定導數1,0，當然z=0的情況很少。

Leaky Relu函數

在z=0時，通常給定導數1,0.01，當然z=0的情況很少。