1. 平方損失函數 Square Error:
$$L(f(x),y)=(f(x)-y)^{2}$$
這時經驗風險函數是MSE，例如在線性回歸中出現
2. 絕對值損失函數：
$$L(f(x),y)=\vert f(x)-y\vert$$
這時經驗風險函數就是MAE
3. 0-1損失函數：
$$L(f(x),y)=1_{\lbrace f(x)\neq y\rbrace}$$
4. 對數損失函數(crossentropy)
$$L(P(y\mid x),y)=-\log P(y\mid x)$$
對應模型：logistic回歸，softmax回歸
注意到，對於非平衡的二分類問題，我們也可以適當加上類的權重$w(y)$使其稱為帶權的對數損失函數:
$$L(P(y\mid x),y)=-w(y)\log P(y\mid x),$$
例如某個而分類問題的訓練集：$D=\lbrace(x_{1},y_{1}),...,(x_{N},y_{n}), y_{i}\in\lbrace-1,+1\rbrace\rbrace$
正例樣本數$P$遠遠小於負例樣本數{N}，我們可以適當選取$w(+1)$,$w(-1)$使得$w(+1)P$與$w(-1)N$更加接近一些。
5.指數損失函數 Exponential loss Function:
$$L(f(x),y)=\exp(-y\cdot f(x))$$
對應模型：AdaBoost
我們注意到，在對數幾率回歸二分類模型中，事實上對數損失函數可以被指數損失函數控制：
$$\log(1+\exp(-yf(x)))\leq \exp(-yf(x)),$$
而指數損失函數更加便於計算和求導，於是它就適合作為AdaBoost中每一個弱分類器的損失函數。
6. Hinge損失函數
$L(x)=[1-tx]_{+}$
見於SVM中。