損失函數
損失函數（loss function）也叫代價函數（cost function）。是神經網絡優化的目標函數，神經網絡訓練或者優化的過程就是最小化損失函數的過程（損失函數值小了，對應預測的結果和真實結果的值就越接近
1、二次代價函數
二次代價函數就是歐式距離的和，在線性回歸中用的比較多，但在目前的神經網絡中用的相對較少。
2、交叉熵代價函數
交叉熵（cross-entropy）代價函數來源於信息論中熵的概念。是目前神經網絡分類問題中（比如圖像分類）常用的代價函數。
交叉熵代價函數對分類問題有一個很好的解釋：當分類輸出正確類的結果（輸出層使用softmax函數之后的值）接近於1，即a=~1時，對應正確類的標簽為1，即y=1。則可得到，C中第一項接近於0，第二項等於0。對於非正確類，a接近於0，y=0,則C中第一項為0，第二項接近於0。故最終C接近於0；當分類輸出正確類的結果與1的差距越大，則上式C的值越大。
3、對數似然函數
對數似然函數與交叉熵代價函數類似，但只考了正確類損失，不考慮錯誤類的損失，用的也比較多。與交叉熵代價函數一樣，對數似然也對分類有一個很好的解釋：當正確類的輸出值a（輸出層只用softmax后的值）接近於1時，y=1，C接近於0；當輸出值a距離a越大時，C值越大。