预训练的用处：规则化，防止过拟合；压缩数据，去除冗余；强化特征，减小误差；加快收敛速度。标准的sigmoid输出不具备稀疏性，需要用一些惩罚因子来训练出一大堆接近0的冗余数据来，从而产生稀疏数据，例如L1、L1/L2或Student-t作惩罚因子。因此需要进行无监督的预训练。而ReLU是线性修正 ...

论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） Part 0：传统激活函数、脑神经元激活频率研究、稀疏激活性 ...

Relu不适合梯度过大的的输入 Relu是我们在训练网络时常用的激活函数之一（对我而言没有之一）。然而最近发现Relu太脆弱了，经常由于输入的函数梯度过大导致网络参数更新后，神经元不再有激活功能。特别是网络在训练刚开始的时候（如果在使用Focal loss,这种现象更容易发生）。 在这种情况下 ...

Batch normalization + ReLU 批归一化（BN）可以抑制梯度爆炸/消失并加快训练速度 原论文认为批归一化的原理是：通过归一化操作使网络的每层特征的分布尽可能的稳定，从而减少Internal Covariate Shift relu是目前应用最为广泛的激活函数 ...

Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下图： 如果a ...

Rectifier（neural networks） 在人工神经网络中，rectfier（整流器，校正器）是一个激活函数，它的定义是：参数中为正的部分。 , 其中，x是神经元的输入。这也被称为r ...

0 - inplace 　　在pytorch中，nn.ReLU(inplace=True)和nn.LeakyReLU(inplace=True)中存在inplace字段。该参数的inplace=True的意思是进行原地操作，例如： x=x+5是对x的原地操作 y=x+5,x=y ...

关于bn和relu的相对顺序网上的见解不一致，但在resnet、mobilenetv2、detectron2、maskrcnn_benchmark见到的都是conv+bn+relu的顺序，没见过conv+relu+bn的顺序，遂感到很疑惑，于是上网上查了一下。 从数据饱和区的角度讲有比较好的讨论 ...