1. 前言
在機器學習中，不同的問題對應了不同的損失函數，不同的損失函數也直接會影響到收斂的快慢和結果的好壞，下面就從不同的損失函數的角度進行一下梳理。
2. 0-1損失函數
0-1損失是指，預測值和目標值不相等為1，否則為0
3. log對數損失函數
邏輯回歸的損失函數就是對數損失函數，在邏輯回歸的推導中，它假設樣本服從伯努利分布（0-1）分布，然后求得滿足該分布的似然函數，接着用對數求極值。邏輯回歸並沒有求對數似然函數的最大值，而是把極大化當做一個思想，進而推導它的風險函數為最小化的負的似然函數。從損失函數的角度上，它就成為了log損失函數。
log損失函數的標准形式：
\[L(Y,P(Y|X))=-logP(Y|X) \]
4. 平方損失函數
最小二乘法是線性回歸的一種方法，它將回歸的問題轉化為了凸優化的問題。最小二乘法的基本原則是：最優擬合曲線應該使得所有點到回歸直線的距離和最小。通常用歐幾里得距離進行距離的度量。平方損失的損失函數為：
\[L(Y|f(X))=\sum_N(Y-f(X))^2 \]
5. 指數損失函數
AdaBoost就是一指數損失函數為損失函數的。
指數損失函數的標准形式：
\[L(Y|f(X))=exp[-yf(x)] \]
6. Hinge損失函數（合頁損失函數）
Hinge損失函數和SVM是息息相關的。在線性支持向量機中，最優化問題可以等價於
\[min\sum_i^N(1-y_i(w^Tx_i+b))_++λ||w||^2 \]
7. 損失函數比較
