基本概念
- loss function（損失函數）: 一個樣本的誤差
- cost function（代價函數）: 整個訓練集上的所有樣本誤差的平均
- objective function (目標函數)：代價函數+正則化項
- risk function（風險函數）：損失函數的期望
- empirical risk（經驗風險）：f(x)關於訓練集的平均損失。
- regularization（正則化）：\(J(f)\)，用來度量模型的復雜度。
目標函數和損失函數的區別
- 損失函數：擬合越好，損失越小。(過擬合)
- 目標函數：優化的目標，代價函數+正則化項