1. Precision和Recall
Precision，准確率/查准率。Recall，召回率/查全率。這兩個指標分別以兩個角度衡量分類系統的准確率。
例如，有一個池塘，里面共有1000條魚，含100條鯽魚。機器學習分類系統將這1000條魚全部分類為“不是鯽魚”，那么准確率也有90%（顯然這樣的分類系統是失敗的），然而查全率為0%，因為沒有鯽魚樣本被分對。這個例子顯示出一個成功的分類系統必須同時考慮Precision和Recall，尤其是面對一個不平衡分類問題。
下圖為混淆矩陣，摘自wiki百科：
根據上圖，Precision和Recall的計算公式分別為：
\[Precision{\rm{ = }}\frac{{{\rm{TP}}}}{{{\rm{TP + FP}}}}\]
\[Recall{\rm{ = }}\frac{{{\rm{TP}}}}{{{\rm{TP + FN}}}}\]
2. ROC (Receiver operating characteristic) 和 AUC（Area Under Curve）
ROC曲線，是以FPR為橫軸、TPR為縱軸，衡量二分類系統性能的曲線。從上圖得到，FPR=1-敏感度，TPR=敏感度。
那么ROC曲線上的點是如何得到的呢？分類器對分類的置信度一般設為50%，即置信度超過50%認為是正例，低於50%認為是反例。當然不是所有的分類器都能得到分類的置信度，因此不是所有的分類器都能得到ROC曲線。
依次改變這個置信度為10%~100%，會得到一組不同的混淆矩陣，取其中的FPR和TPR值組成坐標，連接這些值，就得到ROC曲線。ROC曲線與X軸圍成的圖形面積可以作為一個綜合衡量指標，即AUC（Area Under Curve，曲線下面積）。AUC越大，曲線就越凸，分類器的效果也就越好。
ROC曲線反映了分類器對正例的覆蓋能力和對負例的覆蓋能力之間的權衡。
3. AP（Average precision）
在介紹AP之前，先引入Precision-recall曲線概念。Precision-recall曲線（PR曲線）與ROC曲線的區別是橫軸和縱軸不同，PR曲線的橫軸Recall也就是TPR，反映了分類器對正例的覆蓋能力。而縱軸Precision的分母是識別為正例的數目，而不是實際正例數目。Precision反映了分類器預測正例的准確程度。那么，Precision-recall曲線反映了分類器對正例的識別准確程度和對正例的覆蓋能力之間的權衡。對於隨機分類器而言，其Precision固定的等於樣本中正例的比例，不隨recall的變化而變化。
與AUC相似，AP就是PR曲線與X軸圍成的圖形面積，
對於連續的PR曲線，有：\[{\rm{AP = }}\int_0^1 {{\rm{PRdr}}} \]
對於離散的PR曲線，有：\[{\rm{AP = }}\sum\limits_{k = 1}^n {P\left( k \right)} \Delta r\left( k \right)\]
此外，對於網頁排序場景，還需要引入MAP（Mean Average Precision），MAP是所有查詢結果排序的AP平均。
公式表示為：\[MAP = \frac{{\sum\nolimits_{q = 1}^Q {AP\left( q \right)} }}{Q}\]
其中，Q為查詢的總次數。
4. 其他常見指標
Hamming loss（漢明損失），該指標衡量了預測所得標記與樣本實際標記之間的不一致程度，即樣本具 有標記y但未被識別出，或不具有標記y卻別誤判的可能性。
例如對於一個多標簽問題，某樣本的真實標簽為1,0,1，預測標簽為0,1,1，有2個對1個錯，Hamming loss=1/3。此評估指標值越小越好。
one-error，用來計算在測試文件集中，測試結果分類值(取值0~1)最高的標簽不在實際分類標簽中的文件數。如預測分類值為{0.3,0.8,0.2,0.5}，其實際分類標簽為{1,0,0,1}時，分類值最高的是第二個標簽，但他並不在實際分類標簽中，因此one-error評估值是1/4。同樣，此評估值越小越好。
coverage，用於計算在整個測試文件集中，實際分類標簽在預測分類標簽中的最大rank值的平均值。如預測分類標簽為{0.3,0.8,0.2,0.5}，rank即為{3,1,4,2}。當實際分類標簽為{1,0,0,1}時，此測試集的coverage評估值為2。同樣，此評估值越小越好。
ranking loss，用於計算預測分類標記與實際分類標記中，rank排名相反的次數。此評估值越小越好。
參考：
1. ROC：https://en.wikipedia.org/wiki/Receiver_operating_characteristic
2. AP/MAP: https://en.wikipedia.org/wiki/Information_retrieval
3. 其他概念：http://www.pluscn.net/?p=1352