1. 准確率/召回率/f1分數
2. Auc(一般用於二分類)
3. kappa系數(一般用於多分類)
3.1 簡單kappa(simple kappa)
Kappa系數用於一致性檢驗,代表着分類與完全隨機的分類產生錯誤減少的比例,kappa系數的計算是基於混淆矩陣的。
kappa計算結果為-1~1,但通常kappa是落在 0~1 間。實踐證明,它是一個描述一致性的較為理想的指標。
第一種分析准則:
kappa=1 兩次判斷完全一致
kappa>=0.75 比較滿意的一致程度
kappa<0.4 不夠理想的一致程度
kappa>=0.75 比較滿意的一致程度
kappa<0.4 不夠理想的一致程度
第二種分析准則:
0.0~0.20極低的一致性(slight)
0.21~0.40一般的一致性(fair)
0.41~0.60 中等的一致性(moderate)
0.61~0.80 高度的一致性(substantial)
0.81~1幾乎完全一致(almost perfect)
3.2 加權kappa(weighted kappa)
加權kappa分為linear weighted kappa 和 quadratic weighted kappa。
不同加權kappa系數的選擇取決於數據集中不同class之間差異的意義。
例如對於眼底圖像識別的數據,class=0為健康,class=4為疾病晚期非常嚴重,所以對於把class=0預測成4的行為所造成的懲罰應該遠遠大於把class=0預測成class=1的行為,使用quadratic的話0->4所造成的懲罰就等於16倍的0->1的懲罰。如下圖是一個四分類的兩個計算方法的比較。
(1)linear weighted kappa
(2)quadratic weighted kappa
計算原理:https://www.kaggle.com/c/data-science-bowl-2019/overview/evaluation


