轉自：http://zh.wikipedia.org/wiki/ROC%E6%9B%B2%E7%BA%BF
在信號檢測理論中,接收者操作特征(receiver operating characteristic),或者叫ROC曲線是一種對於靈敏度進行描述的功能圖像.ROC曲線可以通過描述真陽性率(TPR)和假陽性率(FPR)來實現.由於是通過比較兩個操作特征(TPR和FPR)作為標准,ROC曲線也叫做相關操作特征曲線.[1]
ROC分析給選擇最好的模型和在上下文或者類分布中獨立的拋棄一些較差的模型提供了工具.ROC分析是直接和自然的與決策的做出有相當大的關系.ROC曲線首先是由二戰中的電子工程師和雷達工程師發明的,他們是用來檢測戰場中的敵軍的,也就是信號檢測理論.之后很快就被引入了心理學來進行信號的知覺檢測.ROC分析現在已經在相關的領域得到了很好的發展,特別是在醫學,無線電領域中,而且最近在機器學習和數據挖掘領域也得到了很好的發展.
基本概念
一個分類模型(分類器)是一個將一個實例映射到一個特定類的過程.分類器的結果可以是一個實數(連續輸出),這些分類器中類的邊界必須通過一個閾值檢測,舉例來說,通過血壓來檢測一個人是否有高血壓,或者它可以作為一個離散的標簽表明的類. 讓我們來考慮一個兩類預測問題(雙分類器),其結果要么是真(p)要么是假(n).在雙分類器中有4類可能的輸出.如果輸出的預測是p而真實的結果也是p,那么這就叫做真陽性(TP);然而如果真實的結果是n,則這就叫做假陽性(FP).相反的來說,一個真陰性發生在預測結果和實際結果都為n的時候,而假陰性是當預測輸出是n而實際值是p的時候.
為了得到一個現實世界中的恰當的例子,考慮一個檢測一個人是否得一種病的測試.一個假陽性就是一個人被測試是有這種病的,但實際卻沒有的情況.一個假陰性就是一個人被測試是健康的,但實際卻是得病的情況. 其多種情況可由以下矩陣表示:
| 真實值 | ||||
|---|---|---|---|---|
| p | n | 全部 | ||
| 預測 輸出 |
p' | 真 陽性 |
假 陽性 |
P' |
| n' | 假 陰性 |
真 陰性 |
N' | |
| 全部 | P | N | ||
ROC空間
要生成一個ROC曲線,只需要真陽性率(TPR)和假陽性率(FPR).TPR決定了一個分類器或者一個診斷測試在所有陽性樣本中能正確區分的陽性案例的性能.而FPR是決定了在所有陰性的樣本中有多少假陽性的判斷. ROC空間將FPR和TPR定義為x和y軸,這樣就描述了真陽性(獲利)和假陽性(成本)之間的博弈.而TPR就可以定義為靈敏度,而FPR就定義為1-特異度,因此ROC曲線有時候也叫做靈敏度和1-特異度圖像.每一個預測結果在ROC空間中以一個點代表.
最好的可能預測方式是一個在左上角的點,在ROC空間坐標軸(0,1)點,這個代表着100%靈敏(沒有假陰性)和100%特異(沒有假陽性).而(0,1)點被稱為完美分類器.一個完全隨機預測會得到一條從左下到右上對角線(也叫無識別率線)上的一個點.一個最直觀的隨機預測的作決定的例子就是拋硬幣.
這條斜線將ROC空間划分為兩個區域,在這條線的以上的點代表了一個好的分類結果,而在這條線以下的點代表了差的分類結果.
讓我們來看四個100個陽性和100個陰性的案例:
| A | B | C | C' | ||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
|
|
||||||||||||||||||||||||||||||||||||
| TPR = 0.63 | TPR = 0.77 | TPR = 0.24 | TPR = 0.76 | ||||||||||||||||||||||||||||||||||||
| FPR = 0.28 | FPR = 0.77 | FPR = 0.88 | FPR = 0.12 | ||||||||||||||||||||||||||||||||||||
| ACC = 0.68 | ACC = 0.50 | ACC = 0.18 | ACC = 0.82 |
圖中給出了上面4個結果的ROC空間分布.A方式的結果是A,B,C中最好的一個.B的結果是一種隨機猜測線(那條斜線),在表中我們可以看到B的精確度是50%.然而當將C作一個鏡像后,C的結果甚至要比A還要好.這個作鏡像的方法就是簡單的不管C預測了什么,就做其預測的反面.離左上角越近的預測,其結果越好.或者說,離隨機猜測線越遠,則預測的結果越好,如果其點是在右下方的,那么只需作一個鏡像即可.
ROC空間中的線
離散分類器,如決策樹,產生的是離散的數值或者一個雙標簽.應用到實例中,這樣的分類器最后只會在ROC空間產生單一的點.而一些其他的分類器,如朴素貝葉斯分類器,邏輯回歸或者人工神經網絡,產生的是實例屬於某一類的可能性,對於這些方法,一個閾值就決定了ROC空間中點的位置.舉例來說,如果可能值低於或者等於0.8這個閾值就將其認為是陽性的類,而其他的值被認為是陰性類.這樣就可以通過畫每一個閾值的ROC點來生成一個生成一條曲線。MedCalc是較好的ROC曲線分析軟件。
參考資料
- ^ Signal detection theory and ROC analysis in psychology and diagnostics : collected papers; Swets, 1996
通用參考
- X. H., Zhou. Statistical Methods in Diagnostic Medicine. Wiley & Sons. 2002. ISBN 9780471347729.
閱讀更多
- Zou, K.H., O'Malley, A.J., Mauri, L. (2007). Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models. Circulation, 6;115(5):654–7.
- Lasko, T.A., J.G. Bhagwat, K.H. Zou and Ohno-Machado, L. (2005). The use of receiver operating characteristic curves in biomedical informatics. Journal of Biomedical Informatics, 38(5):404–415.
- Balakrishnan, N., (1991) Handbook of the Logistic Distribution, Marcel Dekker, Inc., ISBN 978-0824785871.
- Gonen M., (2007) Analyzing Receiver Operating Characteristic Curves Using SAS, SAS Press, ISBN 978-1-59994-298-1.
- Green, W.H., (2003) Econometric Analysis, fifth edition, Prentice Hall, ISBN 0-13-066189-9.
- Heagerty, P.J., Lumley, T., Pepe, M. S. (2000) Time-dependent ROC Curves for Censored Survival Data and a Diagnostic MarkerBiometrics, 56:337 – 344
- Hosmer, D.W. and Lemeshow, S., (2000) Applied Logistic Regression, 2nd ed., New York; Chichester, Wiley, ISBN 0-471-35632-8.
- Brown, C.D., and Davis, H.T. (2006) Receiver operating characteristic curves and related decision measures: a tutorial,Chemometrics and Intelligent Laboratory Systems, 80:24–38
- Mason, S.J. and Graham, N.E. (2002) Areas beneath the relative operating characteristics (ROC) and relative operating levels (ROL) curves: Statistical significance and interpretation. Q.J.R. Meteorol. Soc., 128:2145–2166.
- Pepe, M.S. (2003). The statistical evaluation of medical tests for classification and prediction. Oxford. ISBN 0198565828.
- Carsten, S. Wesseling, S., Schink, T., and Jung, K. (2003) Comparison of Eight Computer Programs for Receiver-Operating Characteristic Analysis. Clinical Chemistry, 49:433–439
- Swets, J.A. (1995). Signal detection theory and ROC analysis in psychology and diagnostics: Collected papers. Lawrence Erlbaum Associates.
- Swets, J.A., Dawes, R., and Monahan, J. (2000) Better Decisions through Science. Scientific American, October, pages 82–87.
其他鏈接
- An introduction to ROC analysis
- A more thorough treatment of ROC curves and signal detection theory
- Tom Fawcett's ROC Convex Hull: tutorial, program and papers
- Peter Flach's tutorial on ROC analysis in machine learning
- The magnificent ROC — An explanation and interactive demonstration of the connection of ROCs to archetypal bi-normal test result plots
- 術語：
- 真陽性(TP)
- 正確的肯定
- 真陰性(TN)
- 正確的否定
- 假陽性(FP)
- 錯誤的肯定,假報警, 第一類錯誤
- 假陰性(FN)
- 錯誤的否定,未命中 第二類錯誤
- 真陽性率(TPR)
- 命中率
- TPR = TP / P = TP / (TP + FN)
- 假陽性率(FPR)
- 錯誤命中率
- FPR = FP / N = FP / (FP + TN)
- 精確度(ACC)
- ACC = (TP + TN) / (P + N)
- 特征 (SPC) 或者真陰性率
- SPC = TN / N = TN / (FP + TN) = 1 − FPR
- 陽性預測值(PPV)
- PPV = TP / (TP + FP)
- 陰性預測值(NPV)
- NPV = TN / (TN + FN)
- 假發現率 (FDR)
- FDR = FP / (FP + TP)
- Matthews相關系數 (MCC)
-
- F1評分
- F1 = 2TP / (P + P')
Source: Fawcett (2006).