卷积神经网络(CNN)是一种具有局部连接、权重共享等特性的深层前馈神经网络。 卷积神经网络最早主要是用来处理图像信息。在用全连接前馈网络来处理图像时，会存在以下两个问题： （1）参数太多：随着隐藏层神经元数量的增多，参数的规模也会急剧增加。这会导致整个神经网络的训练效率非常低，也很容易出现 ...

7-1 明显地，埃尔法和K成正比 7-2 7-3 7-4 7-5 7-6 7-7 从再参数化的角度来分析批量归一化中缩放和平移的意义 在此公式中，r和b ...

上。 卷积神经网络没有时序性的概念，输入直接和输出挂钩；循环神经网络具有时序性，当前决策跟前一次决策有关。 ...

4-1[求探讨] 角度1： 角度2： 即：接近 0 的输入在 sigmoid 型函数上的导数较大，梯度下降速度较快 4-2 异或问题： 异或（XOR）问题可以看做是单位正方形的四个角，响应的 ...

2-1 视角1： 一般平方损失函数的公式如下图所示： h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来， 模型学习的过程就是优化权重参数，使得J达到近似最小值。 理论上这个损失函数是很有效果的，但是在实践中却又些问题。 它这个h是激活函数激活后 ...

8-1 只考虑一层简单的循环神经网络， 设隐藏层神经元数量为D（即D维），输入层的维数为M。 一个LSTM层（隐藏层）的参数总数为：4D*（D+M）+4D 8-2 8-3 8-4 按照内容寻址，阿西吧。 8-5 8-6 参见：Hopfield 神神经网络动力学分析与应用 ...

5-1 5-2 5-3 主要作用： 降维和升维： 每个1×1的卷积核都试图提取基于相同像素位置的特征的融合表达。可以实现特征升维和降维的目的。 比如，一张500 * 500且厚度 ...

9-1 一般认为，有用信息具有较大的方差，噪声有较小的方差。 主成分分析，选择方差最大的方向投影，并去掉多余的维度（特征），达到降噪的目的。 9-2 9-3 具有多重共线性的数据不适合使用 ...