原文鏈接:https://blog.csdn.net/weixin_42518879/article/details/83959319
主要內容:機器學習中常見的幾種評價指標,它們各自的含義和計算(注意本文針對二元分類器!)
1、混淆矩陣
True Positive(真正,TP):將正類預測為正類的數目
True Negative(真負, TN):將負類預測為負類的數目
False Positive(假正,FP):將負類預測為正類的數目(Type I error)
False Negative(假負,FN):將正類預測為負類的數目(Type II error)
2、精確率(Precision)
精確率表示被分為正例的實例中實際為里正例的比例。
3、召回率(Recall)
召回率表示所有實際為正例的實例被預測為正例的比例,等價於靈敏度(Sensitive)
4、綜合評價指標(F-Measure)
Precision和Recall有時會出現矛盾的情況,為了綜合考慮他們,我們常用的指標就是F-Measure,F值越高證明模型越有效。
F-Measure是Precision和Recall的加權調和平均。
當參數α=1時,就是我們最常見的F1。
5、ROC曲線和AUC(Area Under Curve)
在二分類中,我們通常會對每個樣本計算一個概率值,再根據概率值判斷該樣本所屬的類別,那么這時就需要設定一個閾值來划定正負類。這個閾值的設定會直接影響到Precision和Recall,但是對於AUC的影響較小,因此我們通過做ROC曲線並計算AUC的值來對模型進行更加綜合的評價。
ROC曲線的作圖原理如下:假設我們的測試集一共有n個樣本,那么我們會對每個樣本得到一個概率,以每個概率為閾值計算此時的"True Positive Rate"和"False Positive Rate"值,共得到n對值(n個點)。然后以"True Positive Rate"作為縱軸,"False Positive Rate"作為橫軸,以這n個點的數據作圖畫出ROC曲線。
AUC(Area Under Curve)即為ROC曲線下的面積。
6、准確率(Accuracy)
准確率是我們最常用的評價指標,就是所有實例中被預測正確的比例,但是當數據存在不平衡時,准確率不能很全面地評價模型表現的好壞。
7、具體計算
以上各種評價指標的計算都可以通過sklearn.metrics中的相關功能實現,參考鏈接:sklearn.metrics中的評估方法介紹