AUC兩種計算方式

1.通過ROC曲線面積計算AUC

AUC（Area Under Curve）被定義為ROC曲線下的面積。

ROC 曲線橫坐標：假正率=FPR=FP/N：  預測為負 and 實際為正 / 實際為負

ROC 曲線縱坐標：真正率=TPR= TP/P ：預測為正 and 實際為正 / 實際為正

 注意:有相同預估值時，需要等當前預估值作為閾值的所有 tp,fp 算完，再更新最終 auc

def calcAUC_byRocArea(label,pred):
    P = 0.0
    N = 0.0
    TP = 0.0
    FP = 0.0
    TPR = 0.0
    FPR = 0.0
    LAST_TRP = 0.0
    LAST_FPR = 0.0
    auc = 0.0
    for l in label:
        if l == 0:
            N+=1
        else:
            P+=1
    sample = zip(label,pred)
    sample_sorted = sorted(sample,key=lambda x: -x[1])


    for i,info in enumerate(sample_sorted):
        l,p = info
        if l == 1:
            TP+=1
        else:
            FP+=1
     
        if i !=0 and  i+1 < len(sample) and p == sample_sorted[i+1][1]:
            continue
        
        TPR = TP/P
        FPR = FP/N
        auc+=0.5*(TPR+LAST_TRP)*(FPR-LAST_FPR)
        LAST_FPR=FPR
        LAST_TRP=TPR

    return auc

　　

 

 

 

2.通過計算概率計算AUC

AUC還有一種解釋就是任取一對正負樣本，正樣本的預測值大於負樣本的預測值的概率。

2.1 暴力 時間復雜度 o(n2)

（1）遍歷 label, 選出正樣本、負樣本。

（2）遍歷正負樣本 pair，記錄正樣本 pred> 負樣本 pred 的個數為 cnt

（3） auc = cnt / 正樣本個數* 負樣本個數。

from sklearn.metrics import roc_auc_score
import numpy as np

def calcAUC_byProb(label,pred):
    pos_porb = []
    neg_prob = []
    for i in range(len(label)):
        if label[i] == 1:
            pos_porb.append(pred[i])
        elif label[i] == 0:
            neg_prob.append(pred[i])
    cnt = 0.0
    for p in pos_porb:
        for n in neg_prob:
            if (p>n):
                cnt+=1
            elif(p == n):
                cnt+=0.5
    return cnt / float(len(pos_porb)*len(neg_prob))

y = np.array([1, 1, 1, 0,0])
pred = np.array([0.6,0.3, 0.5 ,0.2,0.4])
print("sklearn auc:",roc_auc_score(y, pred))
#print("my auc calc by area:", calcAUC_byRocArea(y, pred))
print("my auc calc by prob:", calcAUC_byProb(y, pred))

 

2.2 動態規划，時間復雜度0（nlogn)

（1）按照預估值降序，組成 pair。

（2)遍歷pair, 如果 label==1，記錄正樣本個數 pos,

如果 label==0， 對於當前樣本來說，前面所有的正樣本個數pos就是 當前樣本與所有正樣本預估值大於當前負樣本預估值的個數。

（3）auc = pos / (pos *n-pos)

def calcAUC_byProb(label,pred):
    sample = zip(label,pred)
    sample_sorted = sorted(sample,key=lambda x: -x[1])
    pos = 0
    cnt = 0
    last_pred = 0
    print(sample_sorted)
    for i in range(len(sample_sorted)):
        l,p = sample_sorted[i]
        if l == 1:
            pos+=1
        elif l == 0:
            cnt += pos
            if (i!=0 and last_pred ==p):
                cnt-=0.5
        last_pred = p
    negs = len(label) - pos
    print (cnt,pos,negs)
    return float(cnt) / float(pos*negs)