激活函数的导数( Derivatives of activation functions)
Sigmoid函数

导数为:


tanh函数


导数为:


Relu函数


在z=0时,通常给定导数1,0,当然z=0的情况很少。
Leaky Relu函数


在z=0时,通常给定导数1,0.01,当然z=0的情况很少。

导数为:




导数为:




在z=0时,通常给定导数1,0,当然z=0的情况很少。


在z=0时,通常给定导数1,0.01,当然z=0的情况很少。
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。