1. 卷积层（Convolution Layer）：由若干个卷积核f（filter）和偏移值b组成，（这里的卷积核相当于权值矩阵），卷积核与输入图片进行点积和累加可以得到一张feature map。 ...

1. SGD的不足： ①呈“之”字型，迂回前进，损失函数值在一些维度的改变得快（更新速度快），在一些维度改变得慢（速度慢）- 在高维空间更加普遍 ②容易陷入局部极小值和鞍点： ...

1. SVM 损失：在一个样本中，对于真实分类与其他每各个分类，如果真实分类所得的分数与其他各分类所得的分数差距大于或等于安全距离，则真实标签分类与该分类没有损失值；反之则需要计算真实分类与该分类的损 ...

1. softmax 损失函数：归一化指数函数，可以将一个K维向量z“压缩”到另一个K维实向量σ(z)中，使每一个元素的范围在(0,1)之间，并且所有元素的和为1。 softmax loss包含三个 ...

1. 零均值化 / 中心化：对输入图片进行预处理，计算训练数据中所有图片的每个位置的均值，然后每张图片的元素减自己位置对应的均值。零均值化后的图片以（0，0）为中心，所有图片的对应位置的元素均值为0 ...

1. 线性分类器：通过线性映射，将数据分到对应的类别中 ①线性函数：f（xi​, W, b）= W * xi ​+ b W为权值（weights），b为偏移值（bias vector），xi为数据 ...

1. 全连接层：主要用于分类，把分布式特征映射到样本标记空间。全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。全连接层中的权值矩阵Wi的每一行相当于一个分类模版，xi与W ...

1. 误差反向传播算法（Back Propagation）： ①将训练集数据输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果，这就是前向传播过程。②由于神经网络的输出结果与实际结果有误差 ...

1. 批量归一化（Batch Normalization）：为了让数据在训练过程中保持同一分布，在每一个隐藏层进行批量归一化。对于每一个batch，计算该batch的均值与方差，在将线性计算结果送入激 ...

1. 池化层：由1个filter组成，对图片 / 输入矩阵进行空间上的降采样处理，压缩图像的高度和宽度。池化层的filter不是用来得到feature map，而是用来获取filter范围内的特定值。 ...