引入
回忆一下高中生物中学到的知识：当一个神经元受到足够强的刺激的时候，就会被激活向下一个神经元释放递质，然后激活下一个神经元，以此类推，最终将信号传导到需要的地方。
那么我们的神经网络也是由此而来建模而来，我们需要着重需要定义的一些量就是：
- 怎么样才算足够强的刺激
- 如何表示被激活
- 如何向下一个神经元传递信息
神经元
一般神经网络都会非常大，所以神经元定义要尽量的简单。一般用一个线性组合+激活函数来表示。
线性组合：
\[g(x)=\mathrm{w}^T\mathrm{x} \]
偏置项隐含表示在\(x_0\)里。
激活函数：
\[f(z)=\begin{equation}\nonumber\begin{cases}1\qquad z>0\\0\qquad otherwise\end{cases}\end{equation} \]
即用阶跃函数表示激活函数。
神经元：
\[y=f(x)=\begin{equation}\nonumber\begin{cases}1\qquad \mathrm{w}^T\mathrm{x}>0\\0\qquad otherwise\end{cases}\end{equation} \]
那么我们可以理解成线性组合表示刺激的大小，而激活函数定义了多大刺激可以激活神经元，最终神经元就表示了这样。
其实这就是个感知机。
但是这里我们为了后面方便求导，用sigmoid来表示激活函数：
\[sigmoid(x)=\frac{1}{1+e^{-x}} \]
激活函数也可以选择普通的阶跃函数，这里选择sigmoid是因为方便后面的求导。
那么神经元就是：
\[y=\frac{1}{1+e^{-\vec{w}^T\centerdot\vec{x}}} \]
神经网络
那么将神经元用一定的规则进行连接就可以得到神经网络。
上图是一个全连接(full connected)的神经网络，我们以这个神经网络作为例子。
这里要对神经网络的一些基本的部分进行说明。
- 输入层，即输入x的那一层。
- 输出层，即输出y的那一层。
- 隐层，输入层和输出层之间不管隔了多少层都叫隐层。
这里以计算某一个输出\(y_1\)为例：
\[\begin{align}\nonumber y_1&=sigmoid(\vec{w}^T\centerdot\vec{a})\\ \nonumber &=sigmoid(w_{84}a_4+w_{85}a_5+w_{86}a_6+w_{87}a_7+w_{8b}) \end{align}\]
那么\(a_4\)就是：
\[\begin{align}\nonumber a_4&=sigmoid(\vec{w}^T\centerdot\vec{x})\\ \nonumber &=sigmoid(w_{41}x_1+w_{42}x_2+w_{43}x_3+w_{4b}) \end{align}\]
其他\(a\)的值同理。
向量表示
那么第一个隐层的向量\(\vec{a}\)：
\[\vec{a}= \begin{bmatrix} a_4 \\ a_5 \\ a_6 \\ a_7 \\ \end{bmatrix} \]
对应的权重：
\[ W= \begin{bmatrix} \vec{w}_4 \\ \vec{w}_5 \\ \vec{w}_6 \\ \vec{w}_7 \\ \end{bmatrix}= \begin{bmatrix} w_{41},w_{42},w_{43},w_{4b} \\ w_{51},w_{52},w_{53},w_{5b} \\ w_{61},w_{62},w_{63},w_{6b} \\ w_{71},w_{72},w_{73},w_{7b} \\ \end{bmatrix} \]
对此过程不清楚的可以翻译参考1。
由此我们其实可以看出，一层的权重可以用一个矩阵来表示，那么整个神经网络的权重就可以用一个三维的张量来表示了。所有一般来说神经网络的权重会表示成一个三维的数组。
前向计算
那么对于这样的一个神经网络：
我们可以使用这样的一个过程：
\[\begin{align}\nonumber &\vec{a}_1=f(W_1\centerdot\vec{x})\\ \nonumber &\vec{a}_2=f(W_2\centerdot\vec{a}_1)\\ \nonumber &\vec{a}_3=f(W_3\centerdot\vec{a}_2)\\ \nonumber &\vec{y}=f(W_4\centerdot\vec{a}_3)\\ \nonumber \end{align} \]
从\(\vec{x}\)得到\(\vec{y}\)。
这个过程就叫做前向计算。