損失函數：度量模型一次預測的好壞
經驗函數：度量模型平均意義下的預測好壞
輸出預測值F（x）與實際值Y可能不一致也可能一致，損失函數（Loss function）可以度量一次預測，記作L（Y，F（x）），常用的的損失函數有以下幾種：
1，0-1損失函數
2，平方損失函數
3，絕對損失函數
4，對數損失函數或者對數似然損失函數
損失函數數值越小，模型就越好。
給定一個訓練數據集：
那么關於這個數據集的平均損失稱為：經驗風險或者經驗損失：
期望風險是模型關於聯合分布的期望損失，經驗風險估計期望風險往往都不理想，需要對經驗風險進行一定的矯正，這就需要監督學習的兩個策略：經驗風險最小化，結構風險最小化。
經驗風險最小化：
機構風險最小化：
當損失函數給定時，基於損失函數的模型的訓練誤差和模型的測試誤差，就成為學習方法評估的標准。
訓練數據集平均損失記作：
測試數據集的平均損失記作：
如果損失函數式0-1損失函數時，那么測試數據集上的錯誤率：
這里的 I 是指示函數，即 Y ≠ f(x) 時為1，等於為0
相應的數據集上的正確率為：
所以上面兩者相加是=1的