LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似DROPOUT和数据增强作为relu激励之后防止数据过拟合而提出的一种处理方法。这个函数很少使 ...

一、卷积神经网络参数计算 CNN一个牛逼的地方就在于通过感受野和权值共享减少了神经网络需要训练的参数的个数，所谓权值共享就是同一个Feature Map中神经元权值共享，该Feature Map中的 ...

避免过拟合的基本方法之一是从数据源获得更多数据，当训练数据有限时，可以通过数据增强（data augmentation）变换原有的数据生成新的数据来扩大训练集。即使拥有大量数据，进行数据增强也是有必要 ...

论文名字：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift ...

1.什么是过拟合？ 过拟合（overfitting）是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。 具体表现就是最 ...

类别不平衡问题指分类任务中不同类别的训练样本数目差别很大的情况。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别，这样模型在测试数据上的泛化能力就会受到影响。一个例 ...

1. 激活函数作用 如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 如果不用 ...

一、MSE 损失函数推导 前向传播过程： 梯度反向传播公式推导： 定义残差： 则 残差推导如下： 对于最后一层： 广义上，左边项（-（···））是 ...

一、现象介绍 靠近输出层的hidden layer 梯度大，参数更新快，所以很快就会收敛； 而靠近输入层的hidden layer 梯度小，参数更新慢，几乎就和初始状态一样，随机分布。 这种现象 ...

正则化方法有如下几种： 一、参数范数惩罚 其中L2、L1参数正则化介绍与关系如下 1、L2 参数正则化 直观解释如下： 2、L1 参数正则化 二、获取 ...