分類算法評價指標


1. 准確率/召回率/f1分數

2. Auc(一般用於二分類)

3. kappa系數(一般用於多分類)

3.1 簡單kappa(simple kappa)

 Kappa系數用於一致性檢驗,代表着分類與完全隨機的分類產生錯誤減少的比例,kappa系數的計算是基於混淆矩陣的。

kappa計算結果為-1~1,但通常kappa是落在 0~1 間。實踐證明,它是一個描述一致性的較為理想的指標。

第一種分析准則:

kappa=1 兩次判斷完全一致
kappa>=0.75 比較滿意的一致程度
kappa<0.4 不夠理想的一致程度

第二種分析准則:

0.0~0.20極低的一致性(slight)

0.21~0.40一般的一致性(fair)

0.41~0.60 中等的一致性(moderate)

0.61~0.80 高度的一致性(substantial)

0.81~1幾乎完全一致(almost perfect)

3.2 加權kappa(weighted kappa)

加權kappa分為linear weighted kappa 和 quadratic weighted kappa。

不同加權kappa系數的選擇取決於數據集中不同class之間差異的意義。

例如對於眼底圖像識別的數據,class=0為健康,class=4為疾病晚期非常嚴重,所以對於把class=0預測成4的行為所造成的懲罰應該遠遠大於把class=0預測成class=1的行為,使用quadratic的話0->4所造成的懲罰就等於16倍的0->1的懲罰。如下圖是一個四分類的兩個計算方法的比較。

(1)linear weighted kappa

(2)quadratic weighted kappa

計算原理:https://www.kaggle.com/c/data-science-bowl-2019/overview/evaluation


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM