本質是ROC曲線下的面積,ROC曲線x軸是誤判率/誤報率(false positive rate),y軸是准確率/命中率(true positive rate)。
AUC是ROC曲線與橫軸所圍的面積。
the AUC of a classifier is equivalent to the probability that the classifier will rank a randomly chosen positive instance higher than a randomly chosen negative instance.
AUC等效於分類器將一個隨機正例排在隨機負例之前的概率。
AUC計算:
1. 使用Wilcoxon-Mann-Witney Test
AUC和Wilcoxon-Mann-Witney Test有等價的性質。Wilcoxon-Mann-Witney Test是測試任意給一個正樣本和一個負樣本,正樣本score大於負樣本score的概率。
算法:
統計所有的 M×N(M為正樣本數,N為負樣本數)個正負樣本對中,有多少組中的正樣本score大於負樣本score。當二元組中正負樣本的score相等的時候,按照0.5計算。然后除以MN。實現這個方法的復雜度為O(n^2)。n為樣本數(即n=M+N)
2. 方法1的簡化(降低計算時間復雜度)
算法:
首先對樣本按score從大到小排序,然后令最大score對應樣本的rank為n(=M+N),第二大score對應樣本的rank為n-1,以此類推。然后把所有的正樣本的rank相加,再減去M-1個正樣本兩兩組合的計數。然后再除以M×N。即
參考: