損失函數是機器學習中常用於優化模型的目標函數，無論是在分類問題，還是回歸問題，都是通過損失函數最小化來求得我們的學習模型的。損失函數分為經驗風險損失函數和結構風險損失函數。經驗風險損失函數是指預測結果和實際結果的差別，結構風險損失函數是指經驗風險損失函數加上正則項。通常表示為：
θ*是我們通過損失函數最小化要求得的參數，一般都是通過梯度下降法來求得
1、0-1損失函數
0-1損失函數的表達式如下，常見於感知機模型中，預測正確則損失為0，預測錯誤則損失為1：
2、絕對值損失函數
3、log對數損失函數
對數損失函數最常見的應用就是在邏輯回歸中，其表達式如下：
4、平方損失函數
平方損失函數常見於回歸問題中，如線性回歸，其表達式如下：
5、指數損失函數
指數損失函數常見於Adaboost算法中，其表達式如下：
6、Hinge損失函數
Hinge損失函數常見與SVM中，有點類似於0-1損失函數，不同的是對於分類錯誤的點，其損失值不再是固定值1，而是和樣本點離超平面的距離有關。其表達式如下;
其中l 是hinge函數，其標准形式如下：
除此之外還有一些不怎么常見的損失函數，比如在GBDT中的Huber損失函數等