線性回歸:
可以用損失函數來評估模型,這個損失函數可以選擇平方損失函數, 將所有樣本的x和y代入,
只要損失函數最小,那么得到的參數就是模型參數
邏輯回歸:
可以使用似然概率來評估模型,將所有樣本的x和y代入,
只要這個似然概率最大,那么得到的參數,就是模型參數
也可以理解為,其實概率模型不是用損失函數來評估模型,而是用概率來評估模型
只要所有樣本的條件概率乘積(相互獨立同分布)
常見的損失函數
機器學習或者統計機器學習常見的損失函數如下:
1.0-1損失函數 (0-1 loss function)
L(Y,f(X))={1,0,Y ≠ f(X)Y = f(X)
2.平方損失函數(quadratic loss function)
L(Y,f(X))=(Y−f(x))2
3.絕對值損失函數(absolute loss function)
L(Y,f(x))=|Y−f(X)|
4.對數損失函數(logarithmic loss function) 或對數似然損失函數(log-likehood loss function)
L(Y,P(Y|X))=−logP(Y|X)
邏輯回歸中,采用的則是對數損失函數。如果損失函數越小,表示模型越好。
