Global Average Pooling(简称GAP，全局池化层)技术最早提出是在这篇论文（第3.2节）中，被认为是可以替代全连接层的一种新技术。在keras发布的经典模型中，可以看到不少模型 ...

　　常见的激活函数有sigmoid、tanh和relu三种非线性函数，其数学表达式分别为： sigmoid: y = 1/(1 + e-x) tanh: y = (ex - e-x)/(e ...

　　在深度学习过程中，会经常看见各成熟网络模型在ImageNet上的Top-1准确率和Top-5准确率的介绍，如下图所示： 　　那Top-1 Accuracy和Top-5 Accuracy ...

　　Batch Normalization（批量标准化，简称BN）是近些年来深度学习优化中一个重要的手段。BN能带来如下优点： 加速训练过程； 可以使用较大的学习率； 允许在深层网络中 ...

　　在统计学中，损失函数是一种衡量损失和错误（这种损失与“错误地”估计有关，如费用或者设备的损失）程度的函数。假设某样本的实际输出为a，而预计的输出为y，则y与a之间存在偏差，深度学习的目的即是通过不 ...

　　在深度学习中，数据短缺是我们经常面临的一个问题，虽然现在有不少公开数据集，但跟大公司掌握的海量数据集相比，数量上仍然偏少，而某些特定领域的数据采集更是非常困难。根据之前的学习可知，数据量少带来的最 ...

　　Dropout是过去几年非常流行的正则化技术，可有效防止过拟合的发生。但从深度学习的发展趋势看，Batch Normalizaton(简称BN)正在逐步取代Dropout技术，特别是在卷积层。本文 ...

　　当我们费劲周章不断调参来训练模型时，不可避免地会思考一系列问题，模型好坏的评判标准是什么？改善模型的依据何在？何时停止训练为佳？ 　　要解决上述问题，我们需要引入偏差和方差这两个概念，理解他们很 ...

　　深层网络需要一个优良的权重初始化方案，目的是降低发生梯度爆炸和梯度消失的风险。先解释下梯度爆炸和梯度消失的原因，假设我们有如下前向传播路径： 　　a1 = w1x + b1　　 　　z1 = ...

　　深度学习最终目的表现为解决分类或回归问题。在现实应用中，输出层我们大多采用softmax或sigmoid函数来输出分类概率值，其中二元分类可以应用sigmoid函数。 　　而在多元分类的问题中， ...