上一章介绍了使用逻辑回归处理分类问题。尽管逻辑回归是个非常好用的模型，但是在处理非线性问题时仍然显得力不从心，下图就是一个例子： 　　线性模型已经无法很好地拟合上面的样本，所以选择了更复杂 ...

激活函数的主要目的是制造非线性。如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 理论上来说，神经网络和多项式展开 ...

1. 什么是激活函数   在神经网络中，我们经常可以看到对于某一个隐藏层的节点，该节点的激活值计算一般分为两步：   （1）输入该节点的值为 $ x_1,x_2 $ 时，在进入这个隐藏节点后，会先进行一个线性变换，计算出值 $ z^{[1]} = w_1 x_1 + w_2 x_2 + b ...

作用： ​ 线性模型的表达能力不够，引入激活函数来增加非线性因素，并且能逼近任何一个非线性函数 Sigmoid Sigmoid 函数也叫 Logistic 函数，定义为 \[Sigmoid:=\frac{1}{1+e^{-x}} \] 它的一个优良特性就是能够 ...

在大脑里，认识世界的过程，是通过神经细胞之间的不断连接来进行的。这种连接被称为“突触”。 神经细胞以突触的形式互联，形成神经细胞网络。 神经细胞又名神经元。 神经元除了拥有一般细胞的结构外，还从细胞体上长出了一根根的触手，这些突起的触手被叫做“神经突起”。 神经突起 ...

神经元学说的历史 http://slx.yau.edu.cn/info/1106/1401.htm 神经学界的神经科学巨星。 神经元分类： 按突起分类： 　　假单极神经元pseudounipolar neuron、双极神经元bipolar neuron、多级神经元 ...

本文结构： 什么是激活函数 为什么要用 都有什么 sigmoid、ReLU、softmax的比较 如何选择 1. 什么是激活函数 如下图，在神经元中，输入的inputs通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation ...

神经网络与激活函数 神经网络从数学上来说，就是用来拟合一个函数。把数据扔进去，得到一个预测结果，以此来解决分类和回归等问题。但是针对不同的问题，需要拟合不同的函数，包括线性函数和非线性函数。神经网络中常常会见到各种激活函数，当需要拟合非线性函数时就需要激活函数登场了。 对于每个神经元来说 ...