7-1 明显地，埃尔法和K成正比 7-2 7-3 7-4 7-5 7-6 7-7 从再参数化的角度来分析批量归一化中缩放和平移的意义 在此公式中，r和b ...

6-1 三者都是典型的神经网络模型。 卷积神经网络是对前馈神经网络增加卷积层和池化层。 延时神经网络是对前馈神经网络增加延时器。 循环神经网络是对前馈神经网络增加自反馈的神经元。 延时神经网络和循环神经网络是给网络增加短期记忆能力的两种重要方法。 卷积神经网络和循环神经网络的区别在循环层 ...

4-1[求探讨] 角度1： 角度2： 即：接近 0 的输入在 sigmoid 型函数上的导数较大，梯度下降速度较快 4-2 异或问题： 异或（XOR）问题可以看做是单位正方形的四个角，响应的 ...

2-1 视角1： 一般平方损失函数的公式如下图所示： h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来， 模型学习的过程就是优化权重参数，使得J达到近似最小值。 理论上这个损失函数是很有效果的，但是在实践中却又些问题。 它这个h是激活函数激活后 ...

8-1 只考虑一层简单的循环神经网络， 设隐藏层神经元数量为D（即D维），输入层的维数为M。 一个LSTM层（隐藏层）的参数总数为：4D*（D+M）+4D 8-2 8-3 8-4 按照内容寻址，阿西吧。 8-5 8-6 参见：Hopfield 神神经网络动力学分析与应用 ...

5-1 5-2 5-3 主要作用： 降维和升维： 每个1×1的卷积核都试图提取基于相同像素位置的特征的融合表达。可以实现特征升维和降维的目的。 比如，一张500 * 500且厚度 ...

卷积神经网络(CNN)是一种具有局部连接、权重共享等特性的深层前馈神经网络。 卷积神经网络最早主要是用来处理图像信息。在用全连接前馈网络来处理图像时，会存在以下两个问题： （1）参数太多：随着隐藏层神经元数量的增多，参数的规模也会急剧增加。这会导致整个神经网络的训练效率非常低，也很容易出现 ...

10.1 从生物到人工神经元（From Biological to Artificial Neurons） 人工神经网络经历了70年的跌宕起伏：深度学习与神经网络:浅谈人工神经网络跌宕起伏七十年。 作者相信这次神经网络浪潮是与众不同的，理由如下： 现如今有海量数据用于训练，并且ANNs ...