1. DNN神经网络的前向传播（FeedForward）
2. DNN神经网络的反向更新（BP）
3. DNN神经网络的正则化
1. 前言
神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，即它对稍复杂一些的函数都无能为力。
随着数学的发展，这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人（反正就是一票大牛）发明的多层感知机（multilayer perceptron）克服。多层感知机，顾名思义，就是有多个隐含层的感知机。
2. 感知机原理
我之前博文的感知机原理已经详细的介绍了感知机，现在我们进行一个简单的回顾。
先看下人工神经元的结构：
输出是线性的
因为感知机是二分类算法，所以会套一个函数：
在神经网络中，套在线性变换外面的这个函数称作激活函数，激活函数可以是线性的\(f(x) = x\)，或者是非线性的，例如\(sigmoid,tanh,relu\)等常用的。
3. 神经网络原理
神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分：
- 结构 （Architecture）
结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。 - 激励函数（Activity Rule） 大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。
- 学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。
神经网络则在感知机的模型上做了扩展，总结下主要有三点：
- 加入了隐藏层，隐藏层可以有多层，增强模型的表达能力，如下图实例，当然增加了这么多隐藏层模型的复杂度也增加了好多。
- 输出层的神经元也可以不止一个输出，可以有多个输出，这样模型可以灵活的应用于分类回归，以及其他的机器学习领域比如降维和聚类等。多个神经元输出的输出层对应的一个实例如下图，输出层现在有4个神经元了。
- 对激活函数做扩展，感知机的激活函数是\(sign(z)\),虽然简单但是处理能力有限，因此神经网络中一般使用的其他的激活函数，比如我们在逻辑回归里面使用过的\(Sigmoid\)函数，即：
4. DNN的网络结构
DNN我们可以理解为多隐层的神经网络，此外，它有时也叫多层感知机（Multi-Layer perceptron,MLP），它内部的神经网络层分为三类，输入层，隐藏层和输出层。
层与层之间是全连接的，也就是说，第\(i\)层的任意一个神经元一定与第\(i+1\)层的任意一个神经元相连。虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系\(z=\sum{w_ix_i}+b\)加上一个激活函数\(a=\sigma(z)\)。
5. DNN前向传播过程
DNN的前向传播算法不算太难。所谓的DNN的前向传播算法也就是利用我们的若干个权重系数矩阵\(W\),偏倚向量\(b\)来和输入值向量\(x\)进行一系列线性运算和激活运算，从输入层开始，一层层的向后计算，一直到运算到输出层，得到输出结果为值。
输入: 总层数\(L\)，当前层是\(l\)，当前层隐藏层和输出层对应的矩阵\(W^l\),偏倚向量\(b^l\)，输入值向量\(a^{l-1}\)，神经元个数\(dim^l\)
输出：输出层的输出\(a^L\)
- 初始化\(a^0=input\)
- \(for\;\;l=1\;\;to\;\;L-1\), 计算：
其中每个变量的维度是\(W^l=[dim^l,dim^{l-1}]\)，\(a^{l-1}=[dim^{l-1}, batch\_size]\)，\(b^l=[dim^l,1]\)，\(z^l=[dim^l,batch\_size]\)，\(a^l=[dim^l,batch\_size]\)
- 最后的结果即为输出\(a^L\)。
6. 总结
我们现在了解了DNN的前向传播的过程，但是我们会有疑问，DNN中如何更新这么多的\(W,b\)呢，当然还是运用神奇的梯度下降法来更新。在神经网络中运用梯度下降法的过程就是反向更新。