經典的損失函數：
①交叉熵（分類問題）：判斷一個輸出向量和期望向量有多接近。交叉熵刻畫了兩個概率分布之間的距離，他是分類問題中使用比較廣泛的一種損失函數。概率分布刻畫了不同事件發生的概率。
熵的定義：解決了對信息的量化度量問題，香農用信息熵的概念來描述信源的不確定度，第一次用數學語言闡明了概率與信息冗余度的關系。
從統計方面看交叉熵損失函數的含義：
Softmax：原始神經網路的輸出被作用在置信度來生成新的輸出，新的輸出滿足概率分布的所有要求。這樣就把神經網絡的輸出變成了一個概率分布，從而可以通過交叉熵來計算預測的概率分布和真實答案的概率分布之間的距離。
②回歸問題解決的是對具體數值的預測。這些問題需要預測的不是一個事先定義好的類別，而是一個任意的實數。解決回歸問題的神經網絡一般只有一個輸出結點，這個結點的輸出值就是預測值。對於回歸問題，最常用的損失函數就是均方誤差（MSE，mean squared error）: