為了評估模型擬合的好壞，通常用損失函數（覺得嚴格來說相當於下面的目標函數）來度量擬合的程度。損失函數極小化，意味着擬合程度最好，對應的模型參數即為最優參數。
每一個算法都有一個目標函數（objective function），算法就是讓這個目標函數達到最優。對於分類的算法，都會有對錯。錯了就會有代價，或者說是損失。分類算法的目標就是讓它錯的最少，也就是代價最小。
損失函數又叫誤差函數（預測值與真實值之間的誤差），用來衡量算法的運行情況。損失函數只適用於衡量算法在單個訓練樣本中的表現。它主要是配合反向傳播使用的，為使得在反向轉播中可以找到最小值，所以損失函數必須是可導的。
但是我們需要衡量算法在全部訓練樣本上的表現，這就需要我們定義一個代價函數（又稱成本函數），代價函數是m個損失函數求和再除以m。
代價函數再加上正則項或者別的什么優化項就叫目標函數。