損失函數 Loss Function 也可稱為代價函數 Cost Function,用於衡量預測值與實際值的偏離程度。我們機器學習的目標就是希望預測值與實際值偏離較小，也就是希望損失函數較小，也就是所謂的最小化損失函數。
幾種常見的損失函數如下：
1.0-1損失 ：可用於分類問題，該函數用戶衡量誤分類的數量，但是由於該函數由於是非凸的，在最優化過程中求解不方便，有階躍，不連續，所以使用不多。
2.絕對值損失：
3.平方損失：常用於線性回歸
4.對數損失Log Loss：常用於模型輸出每一類概率的分類器，比如邏輯斯蒂回歸。也叫交叉上損失Cross-entropy Loss（交 叉熵用於衡量兩個概率分布的差異性）
5.Hinge損失函數：常用於SVM
對於回歸問題，常用平方損失和絕對值損失
對於分類問題，常用Logloss和hinge loss
Logistic使用Log Loss 不使用平方損失的原因：
平方損失會導致損失函數是theta的非凸函數，不利於求解，因為非凸函數會存在許多的局部最優解。