https://blog.csdn.net/zrh_CSDN/article/details/80934278
Logistic回歸的極大似然估計求解參數的推導: https://blog.csdn.net/LegenDavid/article/details/79221063
推導到最后要計算的方程(對各個參數求偏導,使其等於0,這樣聯合概率取得最大值--極大似然),和 Logistic回歸采用-log損失函數(對各個參數求偏導,使其等於0,這樣損失函數取得最小值--預測最為准確)
這兩個地方最后推導出來的偏導式子相同(只差前面一個正負號,對於等於0是不影響的),這也是從極大似然估計角度證明了,為何Logistic回歸要使用-log損失函數
3. 概率距離
LR模型預估的是概率,自然的,損失函數可以用聯合概率分布來衡量。
比較式(2)和式(3)可知:
由於log函數為單調遞增函數,log距離和概率距離本質上是一樣的,訓練得到的結果也應該一致。
