最近學習了一下ResNet50模型，用其跑了個Kaggle比賽，並仔細閱讀了其Keras實現。在比賽中，我修改了一下源碼，加入了正則項，激活函數改為elu， 日后的應用中也可以直接copy 使用之。 ResNet50 的結構圖網上已經很多了，例如這篇博文：https ...

目錄 1. 激活函數 1.1. 為什么需要激活函數（激勵函數） 1.1.1. ReLU 1.1.2. sigmod 1.1.3. tanh 1.2. Pytorch常見激活函數 ...

損失函數公式推導以及L2正則化 假設預測函數為 \(h\)，預測函數中出現的所有常量為 \(\Theta\)（常量可能不止一個，所以用大寫的來表示） 例如 \(h=ax+bx^2+c\)，那么 \(\Theta=(a,b,c)\) 那么 \(h_{\Theta ...

L2范數 的損失函數； 2) L1正則化 vs L2正則化。 作為損失函數   L1范數損失函數， ...

作為損失函數 L1范數損失函數 　　L1范數損失函數，也被稱之為平均絕對值誤差（MAE）。總的來說，它把目標值$Y_i$與估計值$f(x_i)$的絕對差值的總和最小化。 $$S=\frac{1}{N}\sum_{i=1}^n|Y_i-f(x_i)|$$ L2范數損失函數 ...

激活函數：將神經網絡上一層的輸入，經過神經網絡層的非線性變換轉換后，通過激活函數，得到輸出。常見的激活函數包括：sigmoid, tanh, relu等。https://blog.csdn.net/u013250416/article/details/80991831 損失函數：度量神經網絡 ...

1. 激活函數 1.1 各激活函數曲線對比 常用激活函數： 1.2 各激活函數優缺點 sigmoid函數 優點：在於輸出映射在（0，1）范圍內，單調連續，適合用作輸出層，求導容易 缺點：一旦輸入落入飽和區，一階導數接近0，就可能產生 ...

激活函數 各激活函數曲線對比 常用激活函數： 各激活函數優缺點 sigmoid函數 tanh函數 relu函數 elu函數 softplus函數 softmax函數 dropout函數 一般規則 損失 ...