首先了解相關指標名稱
誤識率FAR false acceptance rate FAR=NFA/NIRA NIRA是類間測試次數(假冒者嘗試的總次數),NFA是錯誤接收次數
FAR越低,假冒者被接受的可能性越低,系統安全性越高
誤拒綠FRR false rejection rate FRR=NFR/NGRA NGRA是類內測試次數(合法用戶嘗試的總次數),NFR是錯誤拒絕次數
FRR越低,合法用戶被拒絕的可能性越低,系統的易用性越好
ROC曲線 Receiver Operator characteristic Curve
真正類率TPR true positive rate 將正例分對為正類的概率,也稱Recall召回率 Recall = TPR = TP/(TP+FN)
假正類率FPR false positive rate 將負例錯分為正類的概率 FPR = FP/(FP+TN)
真負類率TNR true negative rate
假負類率FNR false negative rate
准確率ACC Accuracy = (TP+TN)/(P+N) = (TP+TN) / (TP + FN + FP + TN)
精確度 Precision = TP/(TP+FP)
F-Score就是 Precision和 Recall的加權調和平均:
F-Meature = 2(Precision*Recall)/(Precision + Recall)
舉個例子:
假定有110個人,每人的大拇指的8幅指紋圖片共110*8=880幅的指紋數據庫,即110類,每類8幅圖片。
當然,我們希望類內的任意兩幅圖片匹配成功,類間的任意圖片匹配失敗。
現在我們讓庫中的每一幅圖片除開它自身之外與其他的所有圖片進行匹配,分別計算誤識率,與拒識率。
理論情況下,來自同一個指紋的圖像都成功匹配,次數為7*8*110=6160次,匹配的總次數,即880×(880-1)=773520次。
誤識率(FAR):假定由於指紋識別算法性能的原因,把本應該匹配失敗的判為匹配成功,若假定這種錯誤次數為1000次。
匹配失敗次數應為773520-6160=767360次。則誤識率FAR為1000/767360*100%=0.13%。
拒識率(FRR):假定由於指紋識別算法性能的原因,把本應該匹配成功的判為匹配失敗,若這種錯誤次數為160次。則拒識率為160/6160=2.6%.
ROC曲線(Receiver Operator characteristic Curve)是一種已經被廣泛接受的系統匹配算法測試指標,它是匹配分數閾值、誤識率以及拒識率之間的一種關系。
它反映了識別算法在不同閾值上,拒識率和誤識率的平衡關系。
下圖給出了ROC曲線,其中橫坐標是拒識率,縱坐標是誤識率,等錯誤率(EER Equal-Error Rate)是拒識率和誤識率的一個平衡點,等錯誤率能夠取到的值越低,表示算法的性能越好。
通常要求FAR,FRR盡可能的小,使系統具有高的識別性能。但對於一個系統,FAR和FRR是一對矛盾體,通過調節閾值使其中一項降低必然引起另一項升高。
所以需要根據實際來確定FAR或FRR,在強調安全性的場合,如金融領域,可調高閾值以保障誤識率的要求;而對於一般民用系統,如公司考勤機,可降低閾值放寬誤識率的要求。