激活函數：將神經網絡上一層的輸入，經過神經網絡層的非線性變換轉換后，通過激活函數，得到輸出。常見的激活函數包括：sigmoid, tanh, relu等。https://blog.csdn.net/u013250416/article/details/80991831
損失函數：度量神經網絡的輸出的預測值，與實際值之間的差距的一種方式。常見的損失函數包括：最小二乘損失函數、交叉熵損失函數、回歸中使用的smooth L1損失函數等。
優化函數：也就是如何把損失值從神經網絡的最外層傳遞到最前面。如最基礎的梯度下降算法，隨機梯度下降算法，批量梯度下降算法，帶動量的梯度下降算法，Adagrad，Adadelta，Adam等。https://blog.csdn.net/u013250416/article/details/81090059