1. 對數損失函數
在邏輯回歸中使用對數損失函數，也有人稱之為對數似然損失函數
其中 h(x)為對該樣本類別預測的概率值
2. 平方損失函數
常用於優化最小二乘法，在實際應用中使用均方差損失作為損失函數
3. 指數損失函數（Adaboost）
學習后補充
4.Hinge損失函數（SVM）
學習后補充
5.交叉熵損失函數
由於sigmoid函數的性質，導致σ′(z)在z取大部分值時會很小（如下圖標出來的兩端，幾近於平坦），這樣會使得w和b更新非常慢（因為η * a * σ′(z)這一項接近於0）。
當我們用sigmoid函數作為神經元的激活函數時，最好使用交叉熵代價函數來替代方差代價函數，以避免訓練過程太慢。