LR的損失函數&為何使用-log損失函數而非平方損失函數


 

https://blog.csdn.net/zrh_CSDN/article/details/80934278

 

Logistic回歸的極大似然估計求解參數的推導: https://blog.csdn.net/LegenDavid/article/details/79221063

 推導到最后要計算的方程(對各個參數求偏導,使其等於0,這樣聯合概率取得最大值--極大似然),和 Logistic回歸采用-log損失函數(對各個參數求偏導,使其等於0,這樣損失函數取得最小值--預測最為准確)

這兩個地方最后推導出來的偏導式子相同(只差前面一個正負號,對於等於0是不影響的),這也是從極大似然估計角度證明了,為何Logistic回歸要使用-log損失函數

 

3. 概率距離

LR模型預估的是概率,自然的,損失函數可以用聯合概率分布來衡量。 

比較式(2)和式(3)可知: 

由於log函數為單調遞增函數,log距離和概率距離本質上是一樣的,訓練得到的結果也應該一致。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM