Several classification metrics for ML/DM methods.
主要解釋下機器學習（或數據挖掘）中的幾個度量指標。
1. 關於 "TN/TP/FN/FP"
在預測過程中，經常會出現這幾個名詞，先是解釋下字面意思：
- **TN: ** True Negative （真負），被模型預測為負的樣本，模型預測對了
- **TP: ** True Positive （真正），被模型預測為正的樣本，模型預測對了
- **FN: ** False Negative （假負），被模型預測為負的樣本，模型預測錯了
- **FP: ** False Positive （假正），被模型預測為正的樣本，模型預測錯了
可以看出來，兩個字母的后面一個字母(N ** or P )，是模型預測的結果，而第一個字母(T** or **N **) 代表的是這個結果的正確與否；下面用一個表格來表示一下：
| Actual Class: X | Actual Class: not X | |
|---|---|---|
| Predicted Class: X | TP | FP |
| Predicted Class: not X | FN | TN |
Table.1: BINARY CONFUSION MATRIX
從上面這個表格中也能比較直觀地分辨這4個指標：橫軸代表結果實際的情況，而縱軸代表了該例子被模型預測的情況。
2. 常用於二分類問題（監督學習）的度量指標
2.1 准確率 or 正確比例：
Accuracy or Proportion Correct
計算方法：(TN + TP) / (TP + TN + FP + FN)
需要注意的是：當分類問題是平衡（blanced）的時候，准確率可以較好地反映模型的優劣程度，但不適用於數據集不平衡的時候。
例如：分類問題的數據集中本來就有97% 示例是屬於X，只有另外3%不屬於X，所有示例都被分類成X的時候，准確率仍然高達97%，但這沒有任何意義。
2.2 PPV or 正預測值：
PPV = Positive Predictive Value 。
計算方法：TP / ( TP + FP )
模型預測屬於X的示例（instance）中，預測正確（真正屬於X）的比例。
2.3 召回率 or TP Rate：
Sensitivity（靈敏度） orRecall or True Positive Rate or Probability。
計算方法： TP / (TP + FN)
真正屬於X的示例中，成功預測為屬於X（TP）的比例。
2.4 NPV or 錯誤預測正確率：
NPV = Negative Predictive Value
計算方法：TN / (TN + FN)
模型預測不屬於X的示例中，預測正確（TN）的比例；
2.5 TN Rate：
Specificity or True Negative Rate
計算方法：TN / (TN + FP)
真正不屬於X的示例中，被預測成不屬於X的示例所占的比例。
2.6 FP rate or FAR or Fall-out：
FAR = 1-Specificity
計算方法：FP / (TN + FP)
真正不屬於X的示例中，模型預測成屬於X的（預測失敗）示例所占的比例。
在分類問題中，在靈敏度和FAR兩者之間要保持一個平衡（折中）。這種折中要通過ROC曲線來表示，在Y軸上表示靈敏度，在X軸上表示FAR。 較高的FAR導致較高的靈敏度，較低的FAR導致較低的靈敏度。 通常，FAR不能高於某個數，這就是最終分類器的選擇。
3. 多分類問題中的度量指標
- Overall Accuracy：被正確分類的示例在數據集中的比例。
- Class detection rate：來自給定類的例子正確地分類占來自給定類的所有樣本得比例。
- Class FAR or class FP rate：一個類別中分類錯誤（未被分到這個類）的示例占所有不是這個類的示例的比例。
在多分類問題中計算PPV和NPV是可行的，但是通常不這么做
reference
- Anna L. Buczak, Erhan Guven, "A Survey of Data Mining and Machine Learning Methods for Cyber Security Intrusion Detection", IEEE COMMUNICATIONS SURVEYS & TUTORIALS VOL. 18, NO. 2, SECOND QUARTER 2016