python 使用sklearn繪制roc曲線選取合適的分類閾值

https://zhuanlan.zhihu.com/p/26293316

比如,

我已經初步訓練好了一個模型,現在我想用這個模型從海量的無標記數據集挖掘出某一類數據A,並且想要盡量不包含其他所有類B

但我挖掘出的結果必然包含錯誤的,我拿出的A越多,同時附帶的分類錯數據B也就越多,

一般,拿出的A占總體比例越大,拿出的B類也會占總體比例越大,這個比例的變化一般是單調非線性的,且根據實際情況,我們可接受的比例也不同

簡單來說,不同的recall對應不同的precision,它對應的閾值也不同,我們需要根據實際情況進行分析,找到最合適實際情況的

可以使用roc曲線來尋找

以下代碼可以繪制roc並且根據recall找到對應的precision

    fpr, tpr, thresholds = roc_curve(target, score, pos_label=1)

    
    for i in range(tpr.shape[0]):
        if tpr[i] > _recall:
            print(tpr[i], 1-fpr[i], thresholds[i])
            break

    roc_auc = auc(fpr, tpr)
    plt.figure(figsize=(10, 10))
    plt.plot(fpr, tpr, color='darkorange',
            lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
    plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
    plt.xlim([0.0, 1.0])
    plt.ylim([0.0, 1.05])
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('Receiver operating characteristic example')
    plt.legend(loc="lower right")
    results_dir,_tmp = os.path.split(label_files)
    plt.savefig(results_dir+"/roc.png")
    plt.show()