sklearn.metrics中的confusion_matrix、ROC、AUC指標

1.confusion_matrix

理論部分見https://www.cnblogs.com/cxq1126/p/12990784.html#_label2

from sklearn.metrics import confusion_matrix

#if y_true.shape=y_pred.shape=(N,)
tn, fp, fn, tp = confusion_matrix(y_true, y_pred, labels=[0, 1]).ravel()   
print('sensitivity: ', tp/(tp+fn))
print('specificity: ', tn/(tn+fp))

#if y_true.shape=y_pred.shape=(N, 2)
tn, fp, fn, tp = confusion_matrix(y_true2[:, 0], y_pred2[:, 0], labels=[0,1]).ravel()
print('sensitivity: ', tp/(tp+fn))
print('specificity: ', tn/(tn+fp))

2.classification_report

from sklearn.metrics import classification_report

file_logger.info('classification report:\n%s' % classification_report(y_true, y_pred, target_names=test_dataset.ind_to_cls_dict, digits=4))

y_true和y_pred的shape=(N,)，如果y_pred.shape=(N, 2)，先進行此操作torch.argmax(pred_y, dim=1)；

調用結果類似下面

3.roc_curve, auc 

如果最后的y_score維度是(N, )（即經過網絡層的輸出概率logits的shape=(N, )，也就是說最后的fc層輸出維度為1），畫一個ROC曲線

from sklearn.metrics import roc_curve, auc 

fpr, tpr, threshold = roc_curve(y_true, y_score)
roc_auc = auc(fpr, tpr)
        
plt.figure(figsize=(8, 5))
plt.plot(fpr, tpr, color='darkorange', label='ROC curve (area = %0.4f)' % roc_auc)  
 
lw = 2   
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.legend(loc="lower right")
plt.show()

Tip：y_pred的類型是np.array

如果最后的y_score維度是(N, 2)（即經過網絡層的輸出概率logits的shape=(N, 2)，也就是說最后的fc層輸出維度為2），按類別畫2個ROC曲線

from sklearn.metrics import roc_curve, auc 
import matplotlib.pyplot as plt

plt.figure(figsize=(8, 5))
colors = ['darkorange', 'cornflowerblue']
fpr, tpr, roc_auc = dict(), dict(), dict()
for i in range(2):
     fpr[i], tpr[i], threshold = roc_curve(y_true2[:, i], y_score[:, i])
     roc_auc[i] = auc(fpr[i], tpr[i])
        
    
     plt.plot(fpr[i], tpr[i], color=colors[i], label='ROC curve (area = %0.4f)' % roc_auc[i])  
 
lw = 2   
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('1-Specificity')
plt.ylabel('Sensitivity')
plt.legend(loc="lower right")
plt.show()

如果維度(N,)想要轉換成(N, 2)，可以使用獨熱編碼，詳細見https://www.cnblogs.com/cxq1126/p/13696082.html#_label3

import torch.nn.functional as F

#y_true改成二維版本
x1 = F.one_hot(torch.tensor(y_true), num_classes = 2)
y_true2 = np.array(x1)

然后再調用roc_curve函數。