最近学习了一下ResNet50模型，用其跑了个Kaggle比赛，并仔细阅读了其Keras实现。在比赛中，我修改了一下源码，加入了正则项，激活函数改为elu， 日后的应用中也可以直接copy 使用之。 ResNet50 的结构图网上已经很多了，例如这篇博文：https ...

目录 1. 激活函数 1.1. 为什么需要激活函数（激励函数） 1.1.1. ReLU 1.1.2. sigmod 1.1.3. tanh 1.2. Pytorch常见激活函数 ...

损失函数公式推导以及L2正则化 假设预测函数为 \(h\)，预测函数中出现的所有常量为 \(\Theta\)（常量可能不止一个，所以用大写的来表示） 例如 \(h=ax+bx^2+c\)，那么 \(\Theta=(a,b,c)\) 那么 \(h_{\Theta ...

L2范数 的损失函数； 2) L1正则化 vs L2正则化。 作为损失函数   L1范数损失函数， ...

作为损失函数 L1范数损失函数 　　L1范数损失函数，也被称之为平均绝对值误差（MAE）。总的来说，它把目标值$Y_i$与估计值$f(x_i)$的绝对差值的总和最小化。 $$S=\frac{1}{N}\sum_{i=1}^n|Y_i-f(x_i)|$$ L2范数损失函数 ...

激活函数：将神经网络上一层的输入，经过神经网络层的非线性变换转换后，通过激活函数，得到输出。常见的激活函数包括：sigmoid, tanh, relu等。https://blog.csdn.net/u013250416/article/details/80991831 损失函数：度量神经网络 ...

1. 激活函数 1.1 各激活函数曲线对比 常用激活函数： 1.2 各激活函数优缺点 sigmoid函数 优点：在于输出映射在（0，1）范围内，单调连续，适合用作输出层，求导容易 缺点：一旦输入落入饱和区，一阶导数接近0，就可能产生 ...

激活函数 各激活函数曲线对比 常用激活函数： 各激活函数优缺点 sigmoid函数 tanh函数 relu函数 elu函数 softplus函数 softmax函数 dropout函数 一般规则 损失 ...