ROC全稱Receiver operating characteristic。
定義
TPR：true positive rate，正樣本中分類正確的比率，即TP/(TP+FN)，一般希望它越大越好
FPR：false negtive rage，負樣本中分類錯誤的比率，即FP/(FP+TN)，一般希望它越小越好
ROC曲線：以FPR作為X軸，TPR作為y軸
roc_curve函數的原理及計算方式
要作ROC曲線，需要計算FPR及對應的TPR。
對於一個給定的預測概率，設定不同的閾值，預測結果會不一樣。例如我們設定閾值在0.5以上的為預測正確的樣本和閾值在0.3以上的結果，得到的預測就完全不同。而ROC曲線就是計算不同閾值下FPR及對應的TPR。
以https://www.w3cschool.cn/doc_scikit_learn/scikit_learn-modules-generated-sklearn-metrics-roc_curve.html?lang=en為例
>>> import numpy as np >>> from sklearn import metrics >>> y = np.array([1, 1, 2, 2]) >>> scores = np.array([0.1, 0.4, 0.35, 0.8]) >>> fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2) >>> fpr array([ 0. , 0.5, 0.5, 1. ]) >>> tpr array([ 0.5, 0.5, 1. , 1. ]) >>> thresholds array([ 0.8 , 0.4 , 0.35, 0.1 ])
roc_curve從score中取了4個值作為閾值，用這個閾值判斷，得到不同閾值下的fpr和tpr，利用fpr和tpr作出ROC曲線。
auc原理及計算方式：
AUC全稱Area Under the Curve，即ROC曲線下的面積。sklearn通過梯形的方法來計算該值。上述例子的auc代碼如下：
>>> metrics.auc(fpr, tpr)
0.75
roc_auc_score原理及計算方式：
在二分類問題中，roc_auc_score的結果都是一樣的，都是計算AUC。
在多分類中，有兩種計算方式：One VS Rest和 One VS One，在multi_class參數中分別為ovr和ovo。
ovr：以3分類為例，混淆矩陣分為3層，第一層為C1類和排除了C1的其他類，第二層為C2類和排除了C2的其他類，第三層為C3類和排除了C3的其他類，如圖所示：
在這種情況下，需要指明如何得到總的score，sklearn的average參數有4種選擇：
micro: 把所有類放在一起計算。即
$ TPR= \frac{TP1+TP2+TP3}{TP1+FN1+TP2+FN2+TP3+FN3} $
$ FPR= \frac{FP1+FP2+FP3}{FP1+TN1+FP2+TN2+FP3+TN3} $
然后以此作ROC曲線，求得score
macro: 為每一層分配相同的權值。即
$ TPR= \frac{1}{3}(\frac{TP1}{TP1+FN1}+\frac{TP2}{TP2+FN2}+\frac{TP3}{TP3+FN3}) $
$ FPR= \frac{1}{3}(\frac{FP1}{FP1+TN1}+\frac{FP2}{FP2+TN2}+\frac{FP3}{FP3+TN3}) $
weighted: 以該類在樣本中占的百分比作為權重，計算TPR和FPR。
$ TPR= \frac{TP1}{TP1+FN1}w_1+\frac{TP2}{TP2+FN2}w_2+\frac{TP3}{TP3+FN3}w_3 $
$ FPR= \frac{FP1}{FP1+TN1}w_1+\frac{FP2}{FP2+TN2}w_2+\frac{FP3}{FP3+TN3}w_3 $
sample: 對於樣本很不均勻的類，可以采用該方法。所以對多分類的roc_auc_score使用示例如下：
roc_auc_score(y_true, y_scores, multi_class='ovo',labels=[0,1,2],average='macro')