一、常見的損失函數
常見的損失函數見這里：https://www.cnblogs.com/always-fight/p/9099704.html
二、關於經驗風險和結構風險最小化
模型\(f(X)\)關於訓練數據集的平均損失稱為經驗風險：\(R(f) = 1/N\sum_{i=1}^{N}L(y_i,f(x_i))\)
關於如何選擇模型，監督學習有兩種策略：經驗風險最小化和結構風險最小化。
經驗風險最小化的策略認為經驗風險最小的模型就是最好的模型：\(min 1/N\sum_{i=1}^{N}L(y_i,f(x_i))\)，當樣本量很小時，經驗風險最小化模型容易產生過擬合。
結構風險最小化模型策略是在經驗風險最小化策略的基礎上加了正則化項：\(R(f) = 1/N\sum_{i=1}^{N}L(y_i,f(x_i)) + \lambda J(f)\)，其中\(J(f)\)表示模型的復雜度，模型f越復雜，\(J(f)\)值越大，模型f越簡單，\(J(f)\)值越小
結構風險最小化模型策略認為結構風險最小的模型是最優模型：\(min 1/N\sum_{i=1}^{N}L(y_i,f(x_i)) + \lambda J(f)\)。
所以監督學習問題就變成了經驗風險或者結構風險的最優化問題。