深度学习中，典型的参数更新方法首先是SGD 它的更新方法如下$$\eta,\alpha都是超参数$$ \[w_{2}=w_{1}-\eta \frac{\partial L}{\partial ...

神经网络中的非线性是由激活层实现的，而激活层是由激活函数组成的，这里介绍四种常见的激活函数。 1.Sigmoid函数首当其冲，该函数区别了神经网络与感知器(激活函数是阶跃函数)，很明显它将输出限制在了 ...