1. 准確率
評價分類問題的性能的指標一般是分類准確率，其定義是對於給定的數據，分類正確的樣本數占總樣本數的比例。但是這一指標在Unbalanced的數據上表現很差。比如說我的樣本有990個正樣本，10個負樣本，我直接把所有樣本都預測為正，我的准確率為99%，居然有這么高得准確率，但我的分類方法實際是非常不具有說服力的。
2. 精確率和召回率
對於二分類問題常用的評價指標是精確率和召回率。通常以關注的類為正類，其他類為負類，分類器在數據集上的預測或者正確或者不正確，我們有4中情況，在混淆矩陣中表示如下：
精確率 ：P = TP / (TP + FP)
召回率： R = TP / (TP + FN)
F1: 精確率和召回率的調和平均。 即： 2/F1 = 1/P + 1/R
直觀上來解釋精確率和召回率。
精確率表示我現在有了這么的預測為正的樣本，那么這些樣本中有多少是真的為正呢？
召回率表示我現在預測為正的這些值中，占了所有的正的為正的樣本的多大比例呢？
不同的分類問題，對精確率和召回率的要求也不同。
例如：假幣預測，就需要很高的精確率，我需要你給我的預測數據具有很高的准確性。
腫瘤預測就需要很高的召回率。“寧可錯殺三千，不可放過一個”。
3. ROC和AUC [^1]
TPR = TP / (TP + FN)
FPR = FP / (FP + TN)
我們使用FPR作為橫坐標，TPR作為縱坐標得到ROC曲線如下：
接下來主要考察ROC曲線中的四個點和一條線：
為了方便分析，橫縱坐標再寫於此處：
FPR = FP / (FP + TN) TPR = TP / (TP + FN)
(0,1): FN = 0, FP = 0, 表示所有樣本都正確分類，這是一個完美的分類器；
(1,0)：TN = 0, TP = 0, 表示所有樣本都分類錯誤，這是一個最糟糕的分類器；
(0, 0): FP = 0, TP = 0, 表示所有樣本都分類為負
(1,1): TN = 0, FN = 0, 表示左右樣本都分類為正
經過以上分析，我們可以斷言，ROC曲線越靠近左上角，該分類器的性能越好。
下面考慮上圖虛線與 y = x，該對角線實際上表示一個隨機猜測的分類器的結果。
如何畫ROC曲線呢？我們回想我們的數據時什么樣子的，在二分類問題中，我們最終得到的數據時對每一個樣本，估計其為正的概率值。現在我們根據每個樣本為正的概率大小從大到小進行排序，下圖是一個示例，圖
中共有20個測試樣本，“Class”一欄表示每個測試樣本真正的標簽（p表示正樣本，n表示負樣本），“Score”表示每個測試樣本屬於正樣本的概率。
接下來，我們從高到低，依次將“Score”值作為閾值threshold，當測試樣本屬於正樣本的概率大於或等於這個threshold時，我們認為它為正樣本，否則為負樣本。舉例來說，對於圖中的第4個樣本，其“Score”值為
0.6，那么樣本1，2，3，4都被認為是正樣本，因為它們的“Score”值都大於等於0.6，而其他樣本則都認為是負樣本。每次選取一個不同的threshold，我們就可以得到一組FPR和TPR，即ROC曲線上的一點。這樣一
來，我們一共得到了20組FPR和TPR的值，將它們畫在ROC曲線的結果如下圖：
AUC:ROC曲線下的面積，引入AUC的原因是量化評價指標。
AUC面積越大，分類效果越好。AUC小於1，另一方面，正常的分類器你應該比隨機猜測效果要好吧？所以 0.5 <= AUC <= 1
之前一直不理解一句話：AUC表征了分類器把正樣本排在負樣本前邊的能力。這里的意思其實是指數據按照其為正的概率從大到小排序之后，正樣本排在負樣本前邊的能力。AUC越大，就有越多的正樣本排在負樣本前邊。極端來看，如果ROC的(0, 1)點，所有的正樣本都排在負樣本的前邊。
4. ROC 與 P, R對比
ROC曲線特性：當測試集中的正負樣本的分布變化的時候，ROC曲線能夠保持不變。
（在實際的數據集中經常會出現類不平衡（class imbalance）現象，即負樣本比正樣本多很多（或者相反），而且測試數據中的正負樣本的分布也可能隨着時間變化。）
下圖是ROC曲線和Precision-Recall曲線的對比：
a,c為ROC曲線，b,d為P-R曲線；
a,b 為在原始測試集(balanced)上的結果，c,d為把原始數據集的負樣本增加10倍后的結果。很明顯，ROC曲線基本保持不變，P-R曲線變化較大。
另外，為什么取AUC較好？因為一個二分類問題，如果你取P或R的話，那么你的評價結果和你閾值的選取關系很大，但是我這個一個分類器定了，我希望評價指標是和你取得閾值無關的，也就是需要做與閾值無關的處理。所以AUC較P R好。
[^1]:關於ROC和AUC的介紹，主要參考：https://www.douban.com/note/284051363/ 一部分直接摘錄